“AI를 과소평가 말라"… 실리콘밸리가 사석에서만 말하는 공포

“이 기술이 가진 힘을 과소평가해서는 안 된다. 우리는 곧 인간을 뛰어넘는 시스템을 갖게 될 것이다.”

앤트로픽의 사전학습 연구원 제이콥 콕슨(27)이 9일(현지시각) 사표를 던지며 엑스(X)에 남긴 글이다. 업계 최고의 연봉을 제공하는 오픈AI, 앤트로픽에서 3년 동안 사전학습을 연구했던 그가 회사를 떠난 이유는 뭘까.

그는 “두 회사 모두 책임 있게 행동하지 않고 있다. 자기개선형 초지능을 향해 곧장 질주하며 우리의 생명을 걸고 도박하고 있다”고 썼다. 그의 글은 조회수 1억4000만을 넘기며 큰 화제가 됐다.

콕슨이 던진 메시지의 핵심은 공포가 진짜라는 것이다. 그는 “AI를 만드는 사람들은 이 기술이 10년 내 인류 전체를 죽일 수 있다고 진심으로 믿는다. 이건 마케팅이 아니다”라고 했다. 많은 경영진과 수석 연구원들은 언론 앞에서는 신중한 표현을 고르지만, 사석에서는 같은 두려움을 말한다는 것이다.

그는 “어떤 인간 활동도 이 정도 위험을 초래하지 않는다”고 했다. AI 위험론은 흔히 성능을 부풀리기 위한 과장 정도로 취급돼왔다. 그러나 프론티어(최첨단) AI 연구소 내부자인 그가 현장에서 느낀 건 현실적 위협이었다.

실제로 최근 실리콘밸리에서 벌어지는 일들은 그의 주장에 무게를 더한다. 오픈AI는 8일 수학계의 밀레니엄 난제 ‘나비에-스토크스 방정식’의 특이점 발생을 증명했다고 발표했다. 90년 가까이 미해결이던 문제를 AI가 해결한 것이다.

그렉 브록먼 오픈AI 사장은 3일 새로운 모델 ‘GPT-6 아스트라’를 공개하며 “AGI(범용인공지능) 시대에 오신 것을 환영한다”고 말했다. GPT-6 아스트라의 성능이 인간에 근접한 수준에 도달했다는 언급이다.  

👉“AGI 시대가 왔다”… GPT-6 아스트라가 연 ‘위임의 시대’

구글 딥마인드는 8일 인간 게놈에서 가능한 90억 개의 단일 염기 변이 전체의 분자적 영향을 예측한 ‘알파게놈 아틀라스’를 공개하며 과학계를 깜짝 놀라게 했다. 인류가 ‘지금 무슨 일이 벌어지고 있는지’ 미처 인지하기도 전에 압도적 속도로 질주하고 있다. 

문제는 이 문명적 도박에서 누구도 속도를 늦추려 하지 않는다는 점이다. 콕슨은 “오픈AI에서는 많은 이들이 문명 전체가 걸린 위험을 깊이 체감하지 못하고 있다. 앤트로픽은 위험을 충분히 이해하지만, 누가 먼저 도달하느냐를 두고 경쟁에 갇혀 있다”고 설명했다.

그만의 주장이 아니다. 앤트로픽에서 정렬(AI가 인간이 의도한 목표, 선호, 윤리적 원칙에 맞춰 안전하고 유용하게 작동하도록 유도하는 전반의 과정) 분야를 이끄는 에반 허빙거 역시 “제이콥의 말이 맞다. 우리는 정말로 AI가 모든 인간을 죽일 수도 있다고 진지하게 믿는다. 향후 10년 내 그 확률이 10%를 넘는다고 본다”고 했다. 이 분야 최고 전문가조차 초지능 정렬 문제를 풀 확실한 계획이 없다는 고백이다. 

정말 방법이 없을까. 오픈AI, 앤트로픽을 거쳐 싱킹머신즈랩에서 일하는 존 슐먼은 “오픈AI와 앤트로픽이 서로 싸움을 멈추고 페이싱(속도 조절) 제안을 함께 마련하는 것이 해법이 될 수 있다”고 했다. 구글 딥마인드 공동 설립자 데미스 허사비스가 제안한 AI 표준기구 설립도 비슷한 맥락이다. 

중국 등 외부 변수까지 고려해야 하는 상황에서 이는 매우 어려운 작업이 될 것이다. 그럼에도 더 늦기 전에 논의를 시작해야 한다. 경쟁이 불가피하다는 이유로 고개 숙인 채 달리기만 할 것인가, 다른 방안을 모색할 것인가.

실리콘밸리에는 현재 안전을 담보할 실질적 장치가 없다. AI의 위험은 특정 국가나 기업의 문제가 아니라 인류 문명 전체의 문제라는 걸 잊어선 안 된다. 태평양 건너의 경쟁을 한국이 강 건너 불구경하듯 지켜볼 수 없는 이유다.