새로운질서 독후감 #2 (현실)

[yoonminsang]

3장 현실

기계가 계획을 하려면 거대언어모델의 언어 유창성과 게임용 AI의 다변량 다단계 분석 능력을 모두 갖추고서 둘의 기량을 뛰어넘어야 한다.

이런 발전에는 복잡한 부작용이 수반된다.
기계가 완벽하게 계획을 세우려면 일상적인 패턴 인식을 넘어선 능력이 필요하다. 먼저 주어진 객체의 속성을 인식한 후, 그 객체의 핵심 본질을 이루는 구성 요소들을 안정적으로 개념화해야 한다.
한 마디로 AI는 현실에서 마주치는 모든 객체를 (설령 예측할 수는 없더라도) 읽어들인 데이터 안에서 본질적으로 유사하게 인식한다.

인간의 수동성

기억, 상상력, 근거성, 자기 인식을 갖춘 AI는 조만간 실제로 의식을 가진 존재로 판명될 수 있다.

AI가 인간을 기계 세계의 유일한 창조자이자 지배자가 아닌 더 넓은 세상에 존재하는 별개의 주체로 보게 되면, 기계는 인간을 무엇으로 인식할까?
현실을 인식하는 AI가 인간이 얼마나 많은 자율성을 가졌는지, 더 나아가 인류의 예측 가능한 속성들을 감안하여 인간이 얼마만큼의 자율성을 가져야 하는지 자문하는 날이 언제쯤 도래할까?

현재 인간은 기계와 현실 사이에서 중개자 역할을 맡고 있다. 하지만 만일 인간이 도덕적으로 수동적인 미래를 선택하여, 탄소 기반 세계에서 물러나 실리콘 기반 세계로 들어가 디지털 세상으로 한층 더 파고들어 고립되고 기계에게 현실에 접근할 권한을 넘긴다면, 역할은 역전될 것이다.

물리성

AI는 인간의 방식으로 '볼' 수 없을지 몰라도, 기계적 근사치로 세계를 경험할 수 있다. '감각'이 없기 때문에 적어도 처음에는 인간에게 의존할 것이다.

중간 단계에서 AI는 세상에 대한 시각적인 표현을 만들고 그 안에서 스스로 가설을 세운 후 디지털 시뮬레이션으로 가설을 엄격하게 검증한다.

AI는 야생(물리적 환경)에 풀어놓으면 다시 잡기가 어렵다. ex) 자율주행차

AI가 물리적 실체를 갖추면 인류는 통제권을 AI에 대폭 이양하게 될 것이다.

이성의 엔진

호모 테크니쿠스

이성의 시대에 탄생할 마지막 발명품은 아마도 인류가 만든 가장 복잡한 소프트웨어 객체 위에 세워진 '이성의 엔진'이 될 것이다.

기계가 지능 혹은 물리적 세계의 끝에 도달하면 무슨 일이 발생할까?

첫번째 숙명론적 시나리오에 따르면, 우리는 멸종할 수 있다.

호모 테크니쿠스Homo technicus, 새 시대에 기계 기술과 공생할 수 있는 인간종의 바람직하고 건설적인 진화를 허용하지 않는다.

두번째 기계 거부론자의 시나리오를 따르면, AI를 더는 개발하지 못하게 막고 현재 수준에 머물기를 택함으로써 멸종을 피하리라는 희망을 품을 수는 있다. 하지만 외교 환경과 기후 조건을 비롯하여 우리 종이 직면한 존재론적 윟머을 감안할 때, 그러한 희망은 결국 실망으로 이어질 것이다.

---

이번장은 꽤 어려웠다... 책이 술술 안읽힌다. 나는 막연히 기술의 발전을 막으면 된다고 생각했다. 물론 진짜 막연히는 아니고 인간이 위험해질정도의 기술발전이라면 막는게 좋다고 생각했다. 미래는 정해져있지 않지만(내 생각) 만약 미래가 정해져있고 특정 날짜에 인류가 멸망한다고 가정해보자. 그리고 AI가 발전한다면 이를 막을 수 있다. 그렇다면 AI를 발전시키는게 맞다. 조금 분야가 다르지만 의학분야의 발전으로 인간의 수명이 늘었다. 의학분야도 마찬가지로 위험한 부분이 있다. 그런데 그 위험함을 막기 위해 발전하지 않았다면 우리는 수많은 전염병에 걸려 사망했을 것이다.
그리고 1장에도 비슷한 얘기가 나왔는데 인간의 호기심은 막을 수 없다.(진격의 거인 에렌도 이와 유사) 이미 발전된건 되돌릴 수 없고.. 결국은 법으로 막는것말고는 방법이 없다. 법으로 막아도 숨어서 연구하는 사람은 생길 수 밖에 없고..
글을 좀 적다보니 이 3장의 제목이 '현실'이라는게 눈에 들어왔다. 진짜 이게 현실이다. 작가도 특정 생각을 강요하지 않는다. 단지 이게 현실이라고 말할뿐이다.

---