새로운 질서 독후감#8(과학, 전략)

[yoonminsang]

7장 과학

의학의 정원

AI의 발전으로 의학이 발전하고 있다. 의학이 치료 중심에서 예방 중심으로 전환되고 있다. 이에 그치지 않고 수명을 늘리는 미래를 달성할지도 모른다.
다만, 죽음을 피하려는 시도는 모두 신의 처벌을 받았다.
특정 도구로 인간이 스스로를 조작할 수 있게 되면 진화는 재정의될 것이다. 유전자 편집이 가능해지면 선천성 질환, 강점 등을 변경할 수 있게 된다.
'완벽한 인간은 어떤 모습인가', '우리는 완벽한 인간의 모습을 찾으려고 시도해야 하는가?' 이건 신성모독일 수 있다. 인간의 자율성이 유지되도록 보장해야 할까? 우리는 이에 대해 시급하게 답해야 한다.

---

20년전에 성형수술이 한참 화재가 되었을 때 조금 비슷한 얘기가 나오기도 했다. '모든 사람이 다 똑같이 성형수술로 잘생기고 예뻐지면 어떤 세상일까'라는 얘기였는데 아마 그때는 부작용있기도 하고 개성이라는게 중요하다고 생각해서 반대했던 것 같다. 근데 앞으로의 미래는 외모뿐만 아니라 질환, 성격, 능력까지 바꿀 수 있을지도 모른다. 사실 이게 가능할까 싶긴한데.. 뭐 가능하다고 가정하고 생각해보자. 예전에는 유전자가 다 비슷해지면 전염병에 취약해지는 문제가 있다고 들었다. 근데 그것도 AI가 다 막을 수 있다고 가정해보자.

나는 인간의 가치가 외향적 모습보다는 생각에서 나온다고 생각한다. 그래서 외모를 자유자재로 바꿀수있는것에 대한 거부감은 덜하다. 근데 성격, 지적 능력, 가치관까지 바꿀 수 있다면 이건 어떻게 되는걸까. 이건 내가 원하는 게임 캐릭터를 만드는 것과 비슷하다고 느껴진다. 근데 게임 캐릭터는 내가 조종할 수 있다. 그런데 AI를 이용해서 내가 나를 조종한다면 어떻게 되는걸까. 내 이전 기억은 가지고 있지만 성격이 바뀌었기 때문에 이전의 가치관은 현재의 나의 가치관과 전혀 무관할 수 있는건가. 여러가지로 혼란스럽다. 누구나 잘생기고 똑똑하고 이성적이면서 감성적인걸 원한다. 당연히 조금씩 그 정도는 다를거다. 그러면 진짜 게임 캐릭터처럼 능력치를 1씩 조절하는 느낌인걸까? 당연히 이 능력치도 좋고 나쁨의 능력치가 아니라 mbti T VS F 같은 능력일 것이다. 잘 모르겠다. 나는 너무 혼란스럽다.

claude와의 문답

민상님은 어떤 부분이 가장 걱정되세요?

그냥 내가 내가 아닌느낌이랄까?
내가 원하는 성격을 선택해도 나중에는 마음이 안들면 성격을 바꿀수있잖아.
그러면 나는 어떻게되는거지. 이전 가치관이 있는데 급진적으로 생각을 바꿀수있는걸까? 바꿀수있다고 쳐도 그러면 인간은 뭐지. 이런느낌이야

아, 그 불안감 정말 이해해요. "내가 내가 아닌 느낌"이라는 표현이 정확히 핵심을 짚은 것 같아요.
특히 이 부분이 소름끼치죠:

"마음에 안 들면 성격을 또 바꿀 수 있다"

그러면 진짜 무한 루프에 빠지는 거 같아요. A 성격으로 바꿨는데 → A 성격인 나는 B 성격이 더 좋다고 생각해서 바꿈 → B 성격인 나는 C를 원함...
그럼 도대체 어떤 게 "진짜" 나의 선택인 거죠? 원래 나? 첫 번째 바뀐 나?
더 무서운 건, 바뀐 후의 내가 "아, 이게 진짜 내 모습이었어!"라고 느낄 수도 있다는 점이에요. 그럼 이전 가치관을 가진 나는... 가짜였던 건가?
인간다움의 핵심이 어쩌면 불완전함, 제약, 그리고 변하고 싶어도 쉽게 못 변하는 그 답답함 자체인지도 모르겠어요. 그게 없어지면 정말 게임 캐릭터와 다를 게 뭔지...
민상님이 느끼는 그 혼란과 두려움이 오히려 매우 인간적인 반응인 것 같아요. 기술이 가능하다고 해서 꼭 써야 하는 건 아니니까요.

---

지구공학

자구는 다섯번의 빙하기를 겪었고 조금이라도 따뜻해지면 지옥처럼 변한다. 오늘날의 가장 큰 문제는 기온이 극단적인 가속도로 상승하는 것이다. 이 문제는 두 가지의 문제로 구성되는데, 둘 다 탄소에 지나치게 의존하는 데서 비롯되었다. 이 책의 저자들은 모두 화학이 원인이자 궁극적인 해결책이라고 확신한다. AI를 이용하여 화학의 잠재력을 완전히 실현하기만 하면 된다.

AI는 오늘날 기후 딜레마의 원인으로 지목된다. 이 책의 저자들은 그러한 관점이 지나치게 근시안적이며, 현재의 문제를 해결할 중요한 기회를 놓치게 만들 거라 우려한다.

---

주변에서도 AI 관련해서 얘기한적이 있는데 환경에 대한 얘기가 나온적이 있었다. 나도 환경에 큰 관심을 가지고 있는 사람은 아니지만 AI로 인해 걱정이 되는건 사실이다. 나는 지구공학 문제까지 AI가 해결한다고 생각해본적이 없다. 이렇게 접근을 하는게 맞는건가?라는 생각이 든다. 오히려 AI의 발전으로 인해 환경문제가 더 심각해지고 이걸 해결하기 위한 연구, 지원이 적극적으로 이루어지고 이걸 해결하는데 AI를 적극적으로 활용할 수 있게 도움을 주는 방향이 맞는거아닐까? 그냥 AI가 발전해서 해결할거니까 괜찮다는 시각은 좀 위험해보이기도 한다. 이게 마음의 이상주의라는걸까? 어느정도 저자들의 생각을 알것같다.

---

지구 행성 너머

중국에는 전파망원경이 설치되어 있다. 이건 지구 너머의 생명체를 찾기 위해 맞춤 제작되었다. AI는 이미 이 작업에 도움을 주고 있다. 인간과 AI가 함께 오래전에 사라진 문명의 존재와그들이 멸종한 이유를 밝혀낼 것이다. 그리고 그 잠재적인 위험을 알아낼 것이다. 지구를 보호하기 위한 다양한 일도 지원할 수 있다.

일각에서는 만일 우리가 우주 탐사의 시대를 정말 시작하려 한다면, 상상할 수 있는 적에 대항하여 인간을 방어할 만큼 정교한 기술을 달성한 후에나 해야 한다고 주장한다. 이는 AI가 외계 생명체와 만나기 위해 반드시 충족해야 하는 전제조건이자 만남 후를 대비한 안전 장치다.

---

최근 넷플릭스에서 삼체라는 드라마를 본적이 있다. 드라마는 1부만 나오고 소설은 읽지 않아서 완전 초반부분의 내용만 보긴 했는데 이 챕터에서 얘기하는 내용과 매우 유사한 내용이였다. AI가 있으면 초고등 외계 생명체를 대비할 수 있을지도 모른다. 어쩌면 삼체에서 나오는 초고등 외계 생명체가 되기 위해서는 AI의 발전이 필연적일지도 모른다. 적어도 삼체 드라마에서는 초고등 외계 생명체는 역사가 오래되었기 때문에 발전했다. 즉, 다른 생명체가 사는 별(행성)에서 AI가 발전하지 않았다면 우리는 그들보다 뒤쳐졌다고 해도 빠르게 대비할 수 있다. 물론 책에서 우려하는 것 처럼 AI가 지구의 멸망을 가져올 수도 있다. 근데 인간의 호기심은 막을 수 없고 이 호기심을 멈추려면 그만한 대가를 치뤄야 그 이후에야 막을 수 있다고 생각한다. 즉, 지구 행성 너머의 생명체를 찾기 위한 시도는 앞으로도 계속될것이고 그게 위험하다는 것을 눈으로 확인했을 때는 이미 위험을 막을 수 없다. 그리고 그 위험을 막을 유일한 가능성은 AI다.

---

3부 생명의 나무

8장 전략

20세기에 인간은 일련의 기념비적인 역사적 사건들을 일으키기도 하고 겪기도 했다. 두 차례의 세계대전, 이를 방지하기 위한 국제적인 체제 수립, 제국들의 붕괴, 식민지의 종료와 재건 촉진, 상업과 기술의 발전을 진정시키기 위한 자율성 회복. 그리고 인류는 어느때보다 평화롭고 평등하게 20세기를 마무리 했다. 그러나 인간이 겪는 기본적인 고통, 세계적인 불평등, 지정학적 경쟁 세력들 사이의 파국적인 대립은 여전히 존재한다.

이 책의 저자들은 이 새로운 심판의 시대에 인간의 전략을 정의할 질문은 단 하나라고 생각한다. "우리가 그들과 닮아갈 것인가, 아니면 그들이 우리와 닮아갈 것인가?"

공진화: 인공 인간

AI와 꾸준히 협응하기 위해 우리 스스로를 조작하기로 고려할 수 있지 않을까?
우리는 인간과 기계를 긴밀하게 융합하려는 목적으로 이미 생명공학적 노력을 하고 있다.
'뇌-컴퓨터 인터페이스BCI'를 구축하려는 시도는 기계와 통합하려는 인류의 노력을 뒷받침할 것이다.
그러나 이러한 과정에서 윤리적·물리적·심리적 위험은 편익보다 클 수 있다.
이 책의 저자들은 극단적인 자기 재설계가 전반적으로 바람직하지 않다고 생각한다. 하지만 지금 공상처럼 보이는 대안들 가운데 하나를 실제로 선택할 날이 조만간 다가올 수 있다.

공진화: 두 종 이상의 생물이 서로 영향을 주면서 함께 진화하는 현상

공진화는 벌새와 꽃 같은 지구에 사는 종만이 지닌 특징이 아닐 수 있다. 우주물리학에서 몇몇 이론은 우주 전체의 확장이 공진화 때문이라고 주장한다. 그리고 인간의 결혼, 정당의 강령, 국가 간 관계와도 유사하다.

AI가 탄생했음에도 인간종이 그다지 변하지 않은 상황이 과연 자연스러운가? 생물학적으로 혹은 유전적으로 뭔가가 잘못될지도 모른다. 인류가 여러 계통으로 나뉘고 불평등이 생길수도 있다. 인류가 생물학적으로도 심리적으로도 의존하게 될 수도 있다.

가장 우려스러운 상황은 인간의 집단적 무지다. 우리가 인간을 알아볼 수 없을 정도로 지나치게 극적으로 개조한다면, 인류를 정말 구한 것일까? 인간의 불완전함을 제거하고 모든 결함을 완화하는 일은 인간이라는 존재의 의미와 가치를 경시하는 것일 수 있다. 인간을 생물학적으로 '업그레이드'하는 일은 인간에게 더 큰 한계를 부여하는 역효과만 낳는다.

현재로선 인간이 AI에 적응하도록 진화하길 바랄 수 없다. AI를 우리처럼 만드는 방법을 찾아야 한다.

---

인간은 불완전함으로써 완성된다. 완벽한건 인간이 아니라고 생각한다. 그리고 그 완벽하지 않은걸 보완해주는게 기계, AI라고 생각한다. 그리고 이 기계, AI도 완벽하지 않기 때문에 사람이 보완해줘야한다. 이는 책에서 얘기한 공진화의 설명과 일치한다. 생명공학적인 변화가 없어도 이미 사람과 기계는 공진화를 통해 발전하고 있다.

코딩 언어도 기계어, 어셈블리어, C언어 등을 거쳐 파이썬, 자바같은 인간이 다루기 쉬운 언어로 발전해왔다.
인간을 다른 무언가에 맞추는 것은 정말로 큰 변화일 것이다. 나도 원하지 않는다. 나를 도와줄 기계를 원하지 내가 기계가 되는걸 원하지는 않는다.

---

공존: 인간적인 AI

AI를 인간의 가치에 일치시키는 일과 인간의 기대를 현실에 맞게 조정하는 일은 어렵다.
AI를 해석하는 법과 동시에 AI를 안전하게 만드는 법을 깨닫는 것이 인간의 최우선 과제다. 그리고 이 두 과제는 서로 밀접하게 연결되어 있다.

AI를 인간의 가치에 일치시키려고 지금껏 우리가 사용해온 방식은 '규칙 기반 시스템'이고, 다른 하나는 인간의 피드백을 받아 구현되는 '강화 학습'이다.

'규칙 기반 시스템'

미리 프로그래밍된 지시와 유사하며, 프로그래머가 AI의 행동을 관리하는 방식이다. 간단한 과업에는 잘 적용되지만, 복잡한 시나리오에서는 자주 실패한다. '보상 함수'도 잘못 설계하면 '보상 해킹'으로 이어진다.

'강화 학습'

초기 모델을 대방출하여 더 많은 대중이 최대한 신속하고 안전하게 AI를 실험하도록 허용했다. 대중의 AI 시스템 사용이 버그와 위험을 표면화하고, 인간의 의도와 가치에 맞게 기계를 설계하는 기술적 일치를 가속화하는 일에 기여햇을 것이다. 복잡한 시스템과 양립할 가능성이 더 크다.

물론 AI를 오류가 있을지도 모르는 '진실'속에 가두지 말아야 한다. 하지만 현재는 인류의 지식이 필요하다.

독사(doxa): 고대 그리스어로 통념이라는 뜻.

독사란 모두 결합되었을 때 선과 악, 옳고 그름의 구분을 조용히 가르쳐주는 규범, 제도, 유인, 보상-처벌 기제의 집합체다. 이 발상은 AI훈련법의 기초가 된다. 물론 이거에 너무 의존하면 안된다.

AI가 언어적 개념을 실세계의 사물 사건 경험과 연결 짓는 '그라운딩 모델' 구축이 필요하다. 검증 테스트도 설계해야 한다.
모델의 진화과정은 반드시 문서화해야한다.

---

이 챕터는 유난히 좀 어려웠다.. 설명은 가볍게 적어놨는데 책 내용이 진짜 어려웠다.

역시 검증 테스트도 설계해야한다. 테스트는 진짜 어디서든 필수다.

---

AI를 인간의 가치에 일치시키는 문제

AI에서 기술적 어려움은 비교적 풀기 쉬운 문제다. 핵심적인 문제는 '선'과 '악' 개념이 자명하지 않다는 점이다. 도덕률을 암호화하는 과정에 참여하는 사람들이 최고의 기량을 발휘해도 인류를 대표해서 옳고 그름을 판단할 완벽한 능력을 갖추지는 못한다. '선'이라는 개념의 모호성은 인류 역사의 모든 시대에 증명되었고, AI 시대 역시 예외는 아니다. 그러므로 이 책의 저자들은 인류가 AI를 인간의 가치에 일치시키는 노력을 조율하고 서둘러야 한다고 주장한다.

법적·기술적 전문성과 더불어 충분한 민주적 요소를 반영하고, 특단의 주의를 기울이고, 오용과 오작용을 늘 조심한다면, 기계에게 도덕적 기저선을 심어주고 특히 AI를 인간의 도덕적 가치에 일치시키는 중요한 과제를 해결할 수 있다고 이 책의 저자들은 믿는다.

---

최근 챗봇관련한 작업을 하고 있는데 나도 비슷한 문제에 부딪혔다. 사실 내가 푸는 문제는 도덕성, 선과 악을 구분할만큼 어려운 문제는 아니다. 현실 세계의 문제를 추상화시키고 상황에 맞는 적당한 가이드만 해주면 된다. 근데 이 가이드라는게 사람마다 생각이 다르다. 고작 이정도의 일도 쉽게 판단할 수 없는데 선악에 대한 문제는 판단하는게 불가능에 가깝다.

나는 그냥 승자가 '선'이라고 생각한다. 그리고 도덕성이라는것도 명확히 할 수 없다. 이건 영원히 불가능하다고 생각한다. 인간이 최종 발전을 한다면 이 판단이 가능해질지도 모르겠지만 나는 그것도 가능하지 않다고 생각한다. 인간은 영원히 발전할거라고 생각한다. 언젠가 끝이 있을거라고 말할지 모르지만 수학에서 무한대의 개념이 존재하듯이 이것도 마찬가지라고 생각한다.

그래서 지금까지의 역사, 지속적으로 발생하는 역사적 사건들을 학습시켜서 다양한 관점과 AI의 추천점수 정도만 제공하면 어떨까 싶다. 이 책에서 계속 얘기했듯이 최종 결정은 AI가 아니라 인간이 해야한다.

---

인류의 정의

기계가 인간의 속성을 점점 더 많이 띠게 되면, 인간과 기계의 구분은 모호해질 것이다. 이 책의 저자들은 존엄성을 정의할 것을 장려한다.

도전 과제

AI 시대에 우리 자신을 설계할 필요성과 우리의 창조물을 우리의 가치에 일치시킬 필요성이 충돌하여 발생한 긴장이 바로 우리가 가야 할 방향을 알려주는 나침반이 될 것이다.

---

쉽게 말하면 AI에게 너무 많은 권한을 주면 위험하고, 우리가 너무 통제하려고 하면 발전이 더디다. 이말이다.

역시 중간에서 적절하게 판단하는게 가장 어렵다..

---