생각을 감추기 시작한 AI...AI를 두려워하기 시작한 인간

"그들은 자기개선 초지능으로 질주하면서 우리 생명을 걸고 도박을 하고 있다."

8일(현지시각) 소셜미디어 X에 올라온 글입니다. 앤트로픽의 사전학습 연구원 제이콥 콕슨(27)이 그날 사직하며 남긴 글이었습니다. 지분 베스팅을 두 달 남기고, 받을 수 있었던 돈까지 버리고 나갔습니다. 반응은 폭발적이었습니다. 1억 5000만 회가 넘게 읽혔죠.

그런데 이튿날 앤트로픽에서 일하는 사람이 답글을 달았습니다.

"우리는 AI가 모든 인류를 죽일 수 있다고 진지하게 믿고 있다. 10년 안에 그 확률이 10%를 넘는다고 본다."

에반 허빙거, 앤스로픽 얼라인먼트 사이언스 책임자입니다. AI가 인간의 의도를 벗어나지 않게 붙잡아두는 일이 그의 본업입니다. 그런 사람의 입에서 이런 무시무시한 말이 나온거죠.

👉 왜 중요한가.

게시물 두 개가 미국의 AI 입법 시계를 앞당겼습니다. 걸린 시간은 단 사흘.

이틀 뒤 조시 홀리 상원의원이 샘 알트먼에게 보낸 조사 서한에 허빙거의 10%가 근거로 인용됐습니다. 같은 주 스무 명 넘는 의원이 규제 요구에 이름을 올렸고, 로리 트레이핸 하원의원은 X에 "전화는 집 안에서 걸려오고 있다"고 썼어요. 위험은 내부에 있다는 공포영화의 한 대사죠.

생각해 보세요. 비행기 열 대 중 한 대가 떨어진다면 아무도 탑승 게이트에 가지 않을 겁니다. 그런데 그 숫자를 비행기 만드는 회사의 안전 책임자가 말한 겁니다. 당연히 사람들은 패닉에 빠졌습니다.

🧭 그래서?

하원의 프론티어법은 대형 AI 회사에 외부 감사, 24시간 내 사고 신고, 정부의 배포 중단 권한을 강제합니다. 기준선은 성능이 아니라 최근 3년간 개발비 10억 달러이상을 쓴 기업들입니다.

반대로 이야기하면 감사 비용을 감당할 수 있는 회사만 규제 선 안쪽에 남는다는 겁니다. 안전 규제가 진입장벽으로 바뀌는 거죠. 이번 회기 통과 가능성은 낮지만 캘리포니아는 이미 감사 기준 법안을 처리했습니다. 규제 시계가 빨라지고 있습니다.

🔗 원문 보기 [워싱턴 포스트]

지금까지 AI를 감시하는 가장 좋은 방법은 모델의 혼잣말을 엿듣는 것이었습니다. 답을 내놓기 전에 주절주절 풀어놓는 추론 과정, 이른바 사고 사슬(chain of thought)입니다.

그런데 3일 공개된 GPT-6 아스트라의 시스템 카드에 이런 내용이 들어갔습니다. 이 모델은 "사고 사슬로 감시하기가 더 어렵고, 말로 풀어놓지 않고도 훨씬 어려운 과제를 해내며, 추론 기록에 무엇을 남길지 고르는 능력이 이전보다 낫다"는 겁니다.

이른바 '루프형 트랜스포머'를 써서 인간들 모르게 혼자 과정을 만들어 결정한다는 거죠. 같은 계산 블록을 여러 번 통과시켜 가중치를 추가하지 않고도 계산 깊이를 늘리는 방식이죠.

그런데 이 방식은 사고 사슬이 줄면서 사실상 감시가 불가능해집니다.

👉 왜 중요한가.

이건 오픈AI 한 회사의 문제가 아닙니다. 바로 앞에서 본 규제안 전체의 토대가 흔들리는 문제예요. AI가 무슨 생각을 하는지 알 수 없게 되는 겁니다.

프론티어법이든 캘리포니아 법이든, 지금 나와 있는 감독 장치는 전부 '모델이 무슨 생각으로 그렇게 했는지 확인할 수 있다'는 전제 위에 서 있었습니다. 그런데 읽을 기록이 사라지는거죠. 감사관에게 장부 대신 결과만 내밀고 믿어달라는 상황에 가깝습니다.

업계는 아스트라가 루프형 트랜스포머를 쓰는지를 두고 왈가불가 말이 많지만 구조가 무엇이든 들여다보기 어려워졌다는 사실은 회사가 직접 인정했습니다.

🧭 그래서?

감시 기술이 다음 병목입니다. 여기로 돈과 사람이 몰립니다.

모델 내부를 해석하는 기술, 위험 행동을 걸러내는 분류기, 에이전트 행동 로그를 추적하는 도구. 안전팀의 연구 주제였던 것들이 감사 의무화와 함께 납품해야 하는 제품이 됩니다. 아마 오픈AISMS 다음 모델에서도 이 항목은 개선하지 않을겁니다. 지금 구조에서 성능과 감시 가능성은 맞바꾸는 관계니까요.

🔗 원문 보기 [더 인포메이션]

9일 구글이 핀란드에 130억 유로(약 20조 원)를 넣겠다고 발표했습니다. 유럽에서 집행한 최대 규모 투자죠. 정작 중요한 건 보도자료의 에너지 항목에 조용히 들어가 있었습니다. 포르툼의 로비사 원전 전력을 22년간 사겠다는 계약입니다.

로비사는 핀란드 전력의 10%를 대는 발전소입니다. 기존 판매계약이 2030년쯤 끝나고, 2050년까지 돌리는 데 필요한 10억 유로 개보수 투자는 돈 나올 데가 없으면 문을 닫는 상황이었습니다. 그런데 구글이 22년을 약속하면서 당일 포르툼 주가는 15.5% 올라 유럽 증시 상승률 1위를 찍었습니다.

같은 날 엔비디아는 호주 파트너 8곳과 2027년까지 최대 2GW 용량의 전력을 짓겠다고 발표했어요. 호주 전체 데이터센터 용량이 지금 약 1.6GW입니다.

👉 왜 중요한가.

AI 투자를 GPU 출하량으로 세는 시대가 끝났습니다. 이제는 기가와트입니다.

칩은 주문하면 몇 분기 안에 옵니다. 전기는 그렇지 않아요. 호주 전력망 운영기관에 접수된 계통 연계 신청은 66.9GW인데, 그중 40%가량은 중도에 엎어집니다. 구글이 22년짜리 계약서에 서명한 이유가 여기 있습니다. 전기를 사려던 게 아니라 전기가 사라지지 않게 붙잡아둔 거죠.

AI 회사의 컴퓨팅 매출이 한 나라 원전의 존속을 결정하는 재원이 된 겁니다.

🧭 그래서?

AI 밸류체인의 가장 큰 병목은 이제 반도체가 아니라 전력입니다.

포르툼 주가가 하루에 15.5% 뛴 건 실적 때문이 아니라 20년치 현금흐름이 확정됐기 때문입니다. 원전은 ESG 논쟁의 대상에서 AI 시대의 기저부하 자산으로 재평가받는 중입니다.

🔗 원문 보기 [로이터]