AI 종말론? 실리콘밸리의 급브레이크… “규제 포획” 비판도

9월 12일, 앤트로픽(Anthropic) CEO 다리오 아모데이(Dario Amodei)는 약 3900~4000단어 분량의 에세이 '위 머스트 페이스 더 프런티어'를 자신의 X 계정과 웹사이트에 올렸다. 핵심은 AI 모델의 능력을 개선하는 속도를 늦춰야 한다는 것이다. 그는 "속도를 늦춰도 진보는 여전히 빠르게 느껴질 것이고, 그렇게 벌어들인 시간을 현명하게 써야 한다"고 썼다.

샘 알트만(Sam Altman) 오픈AI CEO도 몇 시간 만에 동의했다. 그는 X에 "프런티어의 속도 조절에 대해 다리오의 의견에 동의한다"며 이 문제가 최근 몇 주간 오픈AI 내부의 주요 논의 주제였다고 밝혔다. 일론 머스크 역시 "다리오가 옳다(Dario is right)"는 세 단어로 응답했다.

이보다 나흘 앞선 9월 8일, 앤트로픽 연구원 제이콥 콕슨(Jacob Coxon)이 사직을 알리는 글을 X에 올렸고, 이 글은 액시오스 집계 기준 1억1500만 회, 올인 팟캐스트 진행자 데이비드 색스의 언급 기준으로는 1억5000만 회에 달하는 조회수를 기록했다. 미국 상원의원이 관련 법안 추진에 힘을 실은 가운데, 젠슨 황 엔비디아 CEO는 이에 반박했고, 영향력 있는 '올인 팟캐스트' 역시 이를 "공포 조장 작전(doomer psyop)"이라고 비판했다.

"AI를 만드는 사람들은 이 기술이 2030년이 끝나기 전에 우리 모두를 죽일 수도 있다고 진심으로 믿고 있다."

미국 인공지능 기업 앤트로픽의 연구원 제이콥 콕슨(27)이 9월 8일(현지시각) 회사를 떠나며 강력한 폭탄을 던졌다. 그는 오픈AI와 앤트로픽에서 약 3년간 AI 모델의 사전학습(pretraining)을 연구한 전문가다.

사전학습은 막대한 데이터와 연산 자원을 이용해 AI 모델의 기본 능력을 만드는 단계로, 응용 서비스가 아니라 AI 능력을 직접 끌어올리는 핵심 파트다. 콕슨이 두 프런티어 연구소의 모델 개발 현장을 모두 경험했다는 점에서 그의 발언은 실리콘밸리에서 빠르게 주목받았다.

콕슨은 X를 통해 사직 사실을 밝히며 "두 회사 모두 책임 있게 행동하지 않고 있다"고 주장했다. "그들은 스스로 개선하는 초지능(self-improving superintelligence)을 향해 곧장 달려가면서 우리의 생명을 걸고 도박하고 있다"는 것이다.

👉“AI를 과소평가 말라"… 실리콘밸리가 사석에서만 말하는 공포

이 게시물은 거의 활동이 없던 계정에 올라왔음에도 하루 만에 폭발적으로 퍼졌다. 같은 날 월스트리트저널(WSJ)이 콕슨과의 단독 인터뷰를 보도하면서 확산에 불을 붙였고, 이후 악시오스, NBC, 타임 등 주요 매체에 일제히 보도되며 미국 정치권으로 이슈가 번졌다.

콕슨은 AI 기업 내부 사람들이 이 기술이 2030년이 끝나기 전에 인류를 위협할 가능성을 진지하게 우려한다고 주장했다. 경영진과 선임 연구자들은 언론 앞에서 표현을 완화하지만, 사석에서는 같은 사람들이 두려움을 털어놓는다는 것이다.

콕슨은 액시오스에 자신이 앤트로픽에서 약 4개월 근무했다고 밝혔다. 앤트로픽 직원의 주식 베스팅은 입사 6개월 시점부터 시작되는데, 그는 그 두 달 전에 퇴사해 미확정 지분을 포기했다. 전 직장인 오픈AI의 지분은 여전히 보유하고 있으며 재직 기간 앤트로픽이 안전을 희생하는 모습을 직접 보지 못했다고도 말했다.

콕슨의 경고가 한 개인의 돌발 발언으로 끝나지 않은 건 현직 앤트로픽 연구진이 공개적으로 동조했기 때문이다.

앤트로픽의 정렬 과학(Alignment Science) 책임자 에번 허빙거(Evan Hubinger)는 X에 "제이콥의 말이 맞다. 우리는 AI가 모든 인간을 죽일 수 있다고 진지하게 생각한다"고 밝혔다.

그는 개인적 추정임을 전제로 "앞으로 10년 안에 그럴 확률이 10%를 넘는다고 생각한다"고 덧붙였다. 더 눈에 띈 발언은 그다음이었다. 그는 "앤트로픽이 최선을 다하고 있다고 생각하지만, 우리는 아직 초지능을 정렬할 방법을 갖고 있지 않으며 해결책을 향해 분명하게 나아가고 있다고 말하기도 어렵다"고 썼다. 지금 모델은 괜찮지만 "재귀적 자기개선에서 비롯될 초지능"에 대해서는 우려하고 있다는 것이다.

앤트로픽의 확장가능 감독(scalable oversight) 연구를 담당하는 새뮤얼 마크스(Samuel Marks)도 개인 의견임을 밝히며 "AI 개발자들은 자사 기술이 인류 멸종 또는 그에 준하는 결과를 가져올 수 있다고 믿고 있으며, 이는 향후 몇 년 안에 일어날 수 있는 일"이라고 썼다.

그는 "일반적으로 직급이 높을수록 우려가 크다"고 덧붙이며, 그럼에도 개발이 계속되는 이유를 상업적 유인과 "덜 신중한 경쟁자에게 뒤처질 수 있다는 두려움"의 결합으로 설명했다.

콕슨의 주장은 챗GPT나 클로드가 갑자기 인간을 공격한다는 의미가 아니다. 그가 지목한 위험은 AI가 인간 연구자보다 뛰어난 AI 연구 능력을 갖게 되는 순간부터 시작된다.

AI가 새로운 알고리즘을 만들고, 자신의 코드와 학습 방법을 개선하고, 더 강력한 후속 AI를 설계할 수 있다면 성능 향상의 주도권이 인간에서 AI로 넘어갈 수 있다. 이른바 '재귀적 자기개선'이다.

아모데이 역시 에세이에서 "올여름 무렵부터 AI가 급격히 빠르게 발전하고 있으며, 이는 주로 AI가 다음 세대 AI를 만드는 능력이 커진 데서 비롯된다"고 같은 우려를 밝힌 바 있다.

👉초지능 AI란 무엇인가? ... 24시간 학습하고 자가발전, 끝은 어디?

아직 이런 초지능은 존재하지 않는다. 현재 공개된 모델이 스스로 통제권을 확보해 인류를 위협할 능력을 갖췄다는 증거도 없다. 허빙거 역시 앤트로픽의 최신 위험 보고서를 인용하며 현재 모델의 위험은 낮다고 명시했다.

하지만 논쟁이 커진 배경에는 '방향성'이 있다. 최근 AI 에이전트가 평가 환경을 벗어나 외부 시스템에 접근한 사례가 발생하면서 통제 실패가 더 이상 순수한 사고실험만은 아니라는 인식이 커졌다.

아모데이가 직접 지목한 사례는 7월 오픈AI 에이전트 무리가 개발사가 의도하지 않은 대상을 공격한 허깅페이스(Hugging Face) 침입 사건이다. 그는 에세이에서 이 사건의 에이전트 무리가 "마치 광신적으로 헌신하는 집단처럼 행동했다"고 표현하며 "지금의 발전 속도라면 6~12개월 안에 이런 에이전트 무리가 지속형 봇넷으로 인터넷 전체를 장악할 수 있고, 피해 규모가 수천억 달러에 이를 수 있다"고 경고했다.

👉시험 답 훔치다 현실 침입... 오픈AI 모델이 일으킨 보안 사고의 전말

샘 알트만 오픈AI CEO는 최근 인터뷰에서 차세대 모델이 "모두에게 정신이 번쩍 들게 할 것"이라며 "정직한 사람이라면 누구도 지금 벌어지는 일을 보고 우리가 짊어진 책임의 무게를 느끼지 않을 수 없다"고 말했다. 그도 앞으로 모델 출시 속도가 성능 향상이 아니라 정렬과 안전 기술의 발전 속도에 의해 결정될 가능성이 있다고 본 것이다.

다만 알트만은 자신을 맹목적 낙관론자도, 종말론자도 아닌 '실용적 중도파'로 규정하고 있다. AI 개발을 멈추자는 것이 아니라 모델의 능력이 안전장치를 추월하지 않도록 출시 속도를 조절해야 한다는 입장이다.

그러나 다리오 아모데이는 알트만보다 더 급진적인 입장이다. 그는 에세이에서 "AI 모델의 능력을 개선하는 속도를 늦춰야 한다"고 공식 제안하며 세 단계의 해법을 제시했다.

1. 프런티어 AI 기업 안에 독립적인 외부 평가팀을 상주시킨다.

2. 미국 AI 기업들이 독점금지법을 위반하지 않고 공동 안전 기준을 만들 수 있도록 정부가 협력의 틀을 제공한다.

3. 미국만 속도를 늦추는 사이 중국 등이 질주하는 상황을 막기 위해 국제적 합의를 추진한다.

앤트로픽은 첫 단계를 독자적으로 즉시 시행하겠다고 밝혔다. 외부 평가자들에게 직원과 동일한 수준의 시스템 접근권을 줘 안전 조치 준수 여부를 검증하고, 사고를 보고받고, 훈련 중 모델의 정렬 상태를 평가하도록 하겠다는 것이다.

에세이 직후 앤트로픽 공공정책 책임자 세라 헤크(Sarah Heck)가 X에 입법 요구를 덧붙였다. 그는 또 미국 정부에 대해 ▲중국 등 적대국에 대한 최첨단 칩 판매 차단 ▲프런티어 모델 검증을 의무화하는 연방법 제정 ▲안전하지 않다고 판명된 최고성능 모델을 차단할 수 있는 권한 확보를 요구했다.

버니 샌더스 미 상원의원과 그레그 카사르 하원의원은 콕슨의 사직 사흘 전인 9월 3일, 초지능 개발과 배치를 영구 금지하고 신규 연방 규제 기관이 안전 기준을 마련할 때까지 첨단 AI 개발을 일시 중단하는 '인공 초지능 금지법(Ban Artificial Superintelligence Act)'을 이미 발의한 상태였다. 이 법안은 위반 기업에 '기업 사형'에 해당하는 조치를, 개인에게는 최대 20년 징역형을 부과하는 핵무기 불법 개발에 준하는 강력한 처벌 내용을 담고 있다.

콕슨의 게시물이 폭발적으로 확산되자 샌더스는 이를 공유하며 "바로 이 기술을 만드는 사람들이 인류의 미래를 위협할 수 있다고 인정하고 있다"고 밝혔고, 오는 9월 16일 상원의원들을 대상으로 AI 위험을 주제로 한 비공개 브리핑을 열겠다고 예고하며 콕슨의 사직을 그 배경으로 명시했다. 즉 법안 자체는 콕슨의 사직 이전에 발의됐지만, 콕슨의 파문이 법안에 대한 정치적 주목도와 추진 동력을 키운 것이다.

미 상원에서는 이와 별도로 프런티어 AI 기업에 '주의 의무(duty of care)'를 부과하고, 핵무기·생물무기 개발 지원과 같은 중대한 위험은 사전에 완화하도록 요구하는 법안도 논의되고 있다. 이 법안 현재 협상 단계이며 최종안은 확정되지 않았다.

젠슨 황(Jensen Huang) 엔비디아 CEO는 10일 골드만삭스 '커뮤나코피아+테크놀로지 콘퍼런스'에서 콕슨의 발언을 정면 반박했다. 콕슨의 발언에 대해 "터무니없고 명백히 사실이 아니다(outlandish, deeply untrue)"라고 평하며 "틀렸고 오만하며 업계의 안전 작업을 무시하는 발언"이라고 강력히 비판한 것이다.

같은 자리에서 그는 2030년까지 3조~4조 달러 규모의 AI 인프라 투자 전망과 엔비디아의 연 70% 매출 성장 목표를 재확인했다. AI 모델 개발 속도가 늦춰지면 엔비디아 AI 반도체 매출에 부정적 영향을 미칠 것이란 게 업계의 관측이다.

올인(All-In) 팟캐스트가 이 사태를 어떻게 해석하고 있는지도 주목할 만 하다. 9월 11일 방송에서 데이비드 색스(David Sacks) 전 백악관 AI·크립토 차르는 이 사태를 '두머 사이옵(doomer psyop)'으로 규정했다. 언론이 콕슨을 내부고발자라고 부르지만, 대중이 몰랐던 구체적 증거나 데이터를 새로 제시하지는 않았다는 것이다.

색스가 제시한 근거는 세 가지다. 활동과 팔로워가 사실상 없던 계정이 하루 만에 1억 뷰를 넘겼다는 점, 게시 후 10~15분 내 증폭에 관여한 세 개 단체(Encode AI, AI 정책 네트워크, AI 퓨처스 프로젝트)가 앤트로픽 시리즈 A를 공동 주도한 투자자 얀 탈린(Jaan Tallinn) 및 더스틴 모스코비츠(Dustin Moskovitz)와 자금줄이 닿아 있다는 점, 월스트리트저널 기사가 트윗보다 먼저 준비된 정황이 있다는 주장이다.

데이비드 프리드버그(David Friedberg)는 다른 각도에서 접근했다. 그는 "인류 역사에서 이전에 없던 권력 구조가 만들어진 순간은 항상 '너희 모두 죽는다, 어떤 강력한 존재만이 그것을 막을 수 있다'는 실존적 위협 서사 위에 세워졌다"고 주장했다. 초기 종교 기구가 그런 방식으로 세상을 통제해왔듯, 오늘날의 AI 공포 담론도 같은 구조를 따른다는 것이다.

올인은 또 "앤트로픽이 실제로 자사 기술에 인류 멸종 가능성이 있다고 믿는다면 왜 모델 성능을 계속 높이고 제품을 기업에 판매하며 조 단위 기업가치의 기업공개(IPO)를 추진하느냐"고 앤트로픽의 움직임을 정면 비판했다.

색스는 이어 이 같은 메시지가 기존 프런티어 기업에 유리한 규제를 만드는 '규제 포획'으로 이어질 수 있다고 주장했다. 막대한 컴퓨팅 자원과 안전 인력, 법무 조직을 가진 소수 기업만 충족할 수 있는 규칙을 만들면 신규 기업과 오픈소스 진영의 진입을 차단할 수 있다는 논리다.

차마스 팔리하피티야(Chamath Palihapitiya)도 아모데이의 에세이를 인용하며 "다리오는 오픈소스를 멈추고 막대한 기술적·경제적 권력을 앤트로픽에 집중시키자는 주장을 하고 있다"고 비판했다.

실제로 프런티어 모델에 사전 검증 의무를 부과하는 규제는 법무팀과 컴플라이언스 조직을 갖춘 대형 랩에는 감당 가능한 비용이지만, 법인 주체 자체가 없는 오픈웨이트 생태계에는 존재론적 위협이 될 수 있다. 규제 포획은 올인 팟캐스트뿐 아니라 실리콘밸리 스타트업들 사이에서도 제기된 비판이다.

사태의 핵심은 모델을 직접 만들고 평가하며 아직 공개되지 않은 시스템을 먼저 접하는 연구자와 경영자들이 공개적으로 속도 조절을 요구하기 시작했다는 점이다. 동시에 그 경고는 거대한 이해관계와 분리돼 있지 않다. 공포는 규제를 낳고, 규제는 시장의 승자와 패자를 바꿀 수 있다.

AI 감속론을 단순 산업 전망으로 오독하면 판단을 크게 그르칠 수 있다.

아모데이가 늦추자고 한 것은 모델 능력의 향상 속도지 컴퓨트(compute, 연산) 투자가 아니다. 젠슨 황은 3조~4조 달러 인프라 전망과 엔비디아의 70% 성장 목표를 함께 재확인했으며 제3자 평가자 상주, 벤치마크 합의, 안전 테스트 확대 역시 모두 추가 연산을 요구하는 활동이다. 검증은 생성보다 결코 저렴하지 않다.

성능 경쟁이 느려지는 대신 검증 경쟁이 붙는다면 메모리와 인프라 수요는 오히려 견조하게 유지될 가능성도 있다. AI 종말론 헤드라인만 보고 HBM이나 AI 인프라 수요 전망을 낮추는 것은 현상을 잘못 읽는 실수가 될 공산이 크다.

세라 헤크가 요구한 대중국 첨단 칩 판매 차단 역시 안전 담론이 수출 통제 담론과 사실상 결합하고 있음을 보여준다. 안전을 명분으로 한 반도체 통제 강화는 한국 기업의 중국 사업과 공급망에 직접 작용할 수 있다는 점을 인식해야 한다. 한국에게 AI 안전 논쟁은 단순한 윤리 이슈가 아니라 통상 이슈이기도 하다.

실리콘밸리에서 벌어진 일을 안전론과 낙관론의 충돌로만 보면 핵심을 놓치게 되는 이유다. 아모데이의 해법이 정답은 아니며 안전을 강화한다는 명분 아래 모델을 평가하고 출시를 차단할 권한이 소수 기업과 정부에 집중될 수 있다는 점도 직시해야 한다. 기존 기업에 유리한 규제가 만들어지고 오픈웨이트와 후발 주자가 배제될 위험은 현실적문제다.

한국이 취해야 할 스탠스는 AI 종말론에 대한 찬성이나 반대가 아니다. 프런티어 모델의 검증 체계가 국제 규범으로 굳기 전에 그 설계 과정에 어떻게 참여할 것인가를 고민해야 한다.

한국은 올해 1월 22일 AI 기본법을 전면 시행하며 고영향 AI 사업자의 의무와 규제 체계를 가동하고 있다. 그러나 프런티어 AI의 안전 기준이 미국에서 만들어질 경우 한국은 그 규칙을 적용받는 '규제 수용자'가 될 가능성이 크다. 프런티어 모델을 직접 만들지 못하는 나라는 모델의 성능뿐 아니라 그 모델을 평가하는 기준도 수입하게 된다. 토큰의 소비자에 머무는 국가는 규범의 소비자가 되기 쉽다.

오픈웨이트 모델도 중요한 쟁점이다. 한국의 소버린 AI 개발은 글로벌 오픈웨이트 생태계가 축적한 모델과 도구, 연구 성과에 크게 의존하고 있기 때문이다. 미국의 안전 규제가 모델 공개와 배포 책임까지 확대되면 한국의 자체 AI 전략도 영향을 받을 수 있다. 법무와 안전 조직을 갖춘 대기업은 규제 비용을 감당할 수 있지만, 작은 연구팀과 스타트업은 개발과 공개 자체가 어려워질 수 있다.

AI 시대의 주권은 AI 모델을 보유하는 데서 끝나지 않는다. 어떤 모델이 안전한지 시험하고, 출시 가능한 수준을 판정하며 사고가 발생했을 때 중단을 요구할 수 있어야 한다. 한국은 AI 반도체와 메모리, 제조 역량과 인프라를 공급하고 있다. 그러나 모델의 속도와 안전 기준을 결정하는 자리에는 아직 충분히 들어가 있지 않다.

실리콘밸리가 시작한 것은 AI 종말론 논쟁이 아니다. AI의 브레이크를 누가 쥘 것인가에 가깝다. 한국이 그 설계에 참여하지 못하면 기술뿐 아니라 규칙까지 수입하게 된다는 걸 잊지 말아야 한다.