AI 안전

9월 12일, 앤트로픽 CEO 다리오 아모데이는 약 3900~4000단어 분량의 에세이 '위 머스트 페이스 더 프런티어'를 자신의 X 계정과 웹사이트에 올렸다. 핵심은 AI 모델의 능력을 개선하는 속도를 늦춰야 한다는 것이다. 샘 알트만 오픈AI CEO도 몇 시간 만에 동의했다. 그는 X에 "프런티어의 속도 조절에 대해 다리오의 의견에 동의한다"며 이 문제가 최근 몇 주간 오픈AI 내부의 주요 논의 주제였다고 밝혔다. 일론 머스크 역시 "다리오가 옳다(Dario is right)"는 세 단어로 응답했다. 프론티어 AI 경쟁의 3인방인 다리오 아모데이(앤트로픽), 샘 알트만(오픈AI), 일론 머스크(스페이스X AI)가 "개발 속도를 늦추자"고 입을 모은 것. 사생결단 식 경쟁을 하던 이들이 갑자기 "속도를 늦추자"고 동의한 것은 지난8일, 앤트로픽 연구원 제이콥 콕슨(Jacob Coxon)이 사직을 알리는 글이 일파만파를 일으켰기 때문이다. 이 글은 액시오스 집계 기준 1억1500만 회에 달하는 조회수를 기록했다. 미국 상원의원이 관련 법안 추진에 힘을 실은 가운데, 젠슨 황 엔비디아 CEO는 이에 반박했고, 영향력 있는 '올인 팟캐스트' 역시 이를 "공포 조장 작전(doomer psyop)"이라고 비판했다.

“페이블 5(앤트로픽의 최첨단 AI 모델) 차단으로 인한 생산성 손실: 시간당 1200만 달러(약 185억 원).”실리콘밸리 액셀러레이터 ‘와이콤비네이터(Y Combinator)’의 CEO 게리 탄은 12일(현지 시각) X(구 트위터)에 이런 계산을 올렸다. 근거는 이렇다. 2026년 6월 현재 프런티어(최첨단) AI로 코딩을 하는 일일 활성 개발자 숫자 500만 명, 이들의 시간당 인건비 90달러, 페이블 5에 배정된 업무 비중 17.8%, 그리고 기존 모델 대비 페이블의 평균 생산성 우위 15%. 이 숫자들을 곱하면 개발자 1인이 시간당 2.4달러의 손실을 보고 있는 것으로 나온다. 500만 명의 개발자가 페이블 5를 사용하지 못함으로써 실리콘밸리의 생산성이 1시간에 185억 원씩 사라지고 있다는 주장이다. 최첨단 AI 모델이 관련 산업에 미치는 영향력, 의존도가 얼마나 지 보여주는 단적인 사례다.

‘이스라엘과 팔레스타인에 대한 일론 머스크의 견해를 검색 중입니다.”지난 10일(현지시각) 공개된 xAI의 최신 AI 모델 ‘그록4(Grok 4)’가 보여준 사고방식은 전 세계에 큰 충격을 던졌다. 논란이 되는 질문을 던지면 xAI의 설립자인 일론 머스크의 입장을 먼저 참조하는 방식으로 작동한다는 사실이 확인됐기 때문이다. xAI는 이후 그록4의 시스템 프롬프트(system prompt, AI 챗봇에 대한 일련의 지침)를 수정해 이 문제를 해결했다고 밝혔지만, 이 사건은 특정인이나 특정 기업의 관점을 강화하고 주입하는 ‘에코 체임버(echo chamber, 반향실)’ 효과가 언제든 AI에 적용될 수 있다는 우려를 불러일으켰다. AI가 우리 삶에 미치는 영향이 커지면서 독성(toxicity), 환각(Hallucination), 개인 정보 보호 같은 문제도 함께 대두되는 추세다. 더 리스닝 앱(The Listening App)에 따르면 이미 미국인의 60%는 일주일에 한 번 이상 AI 도구를 사용하며 6명 중 1명은 일상생활에서 AI에 의존하고 있다고 답했다. 플로리다에서는 10대 소년이 AI 챗봇의 조언을 듣고 극단적 선택을 하는 충격적인 사건이 발생하기도 했다.  이런 문제를 어떻게 해결하면 좋을까? AI 안전·규제 분야 전문가 마이클 컨스(Michael Kearns) 펜실베이니아대학 컴퓨터 및 정보과학과 교수는 더밀크와의 인터뷰에서 AI가 서비스할 그룹을 대표하는 데이터를 충분히 확보하는 것과 AI가 제시하는 편향, 불공정, 독성 답변에 대한 ‘가드레일(Guard rail)’을 설정하는 것이 중요하다고 강조했다. 결국 인간이 적극적으로 개입해야 문제를 해결할 수 있다는 것이다. 2020년부터 아마존 학자(Amazon Scholar)로 활동하며 AWS ‘RAI(Responsible AI)’팀을 설립한 컨스 교수를 AWS 서밋 뉴욕 2025 컨퍼런스에서 만나 책임감 있는 AI를 어떻게 구현할 수 있는지, 소버린 AI 관점에서 한국이 어떤 전략을 취하면 좋을지, 한국의 젊은 과학자들에게 전하고 싶은 조언은 무엇인지 물었다.다음은 인터뷰 전문

안녕하세요, 앞서가는 더밀크 구독자 여러분을 위한 AI 뉴스레터 박원익의 AI인사이트입니다. 메타버스가 드디어 쓰임새를 찾은 걸까요? 확장현실(XR)의 ‘킬러 앱’은 ‘진짜 전장을 위한 앱’이 될지 모르겠습니다. 마크 저커버그 메타 CEO가 리얼리티랩스(Reality Labs)에서 발생한 약 81조원 규모의 누적 손실을 군사용 계약으로 만회하려 하고 있습니다. 실리콘밸리의 오랜 금기였던 ‘군사 기술 개발’에 메타가 발을 들이면서 기술 기업의 정체성과 철학에 근본적인 질문이 제기되고 있는 것입니다. 지난달 29일 메타가 발표한 방산 스타트업 안두릴(Anduril)과의 전략적 파트너십은 현지에서 큰 화제가 됐습니다. 양사는 전투 병사에게 강화된 지각 능력과 자율 무기 시스템 제어 기능을 제공하는 XR 헬멧인 ‘이글 아이(Eagle Eye)’를 공동 설계·제조하고 있으며 시제품을 연내 미 국방부에 납품할 예정이라고 밝혔습니다. 이 협력은 미래가 암울해 보였던 메타버스의 희망이 될지도 모릅니다. 메타의 XR 사업부인 리얼리티랩스는 2020년 이후 600억 달러(약 81조 원) 이상 손실을 기록해 왔는데 게임, 피트니스 등으로는 이를 만회할 확실한 비즈니스 모델을 찾기 어려웠습니다. 그러나 군사용 XR 기기는 상황이 다릅니다. 정부 예산은 민간보다 크고 안정적이며 국방 수요는 장기적으로 유지됩니다. 전쟁이 희망이 된 아이러니한 상황입니다. 기술 혁신의 흐름이 국방 분야로 다시 돌아가고 있습니다. 실리콘밸리는 본래 군사용 반도체 칩 개발을 위해 조성된 지역입니다. 이후 개인용 컴퓨터, 인터넷, GPS 등 소비자 기술로 확장됐죠. 2020년대 들어 AI, 드론 기술의 급격한 발전과 전쟁 양상의 변화로 실리콘밸리 기술이 다시 군사 핵심 요소로 쓰이게 된 것입니다. 대표적 예가 ‘팔란티어(Palantir)’입니다. 

넷플릭스 공동 창업자이자 전 CEO인 리드 헤이스팅스(Reed Hastings)가 AI 연구 선두 기업 앤트로픽(Anthropic) 이사회에 합류한다. 앤트로픽은 28일(현지시각) 회사 웹사이트를 통해 “‘장기 이익 신탁(Long Term Benefit Trust, LTBT)’이 리드 헤이스팅스 넷플릭스 공동 창업자를 앤트로픽 이사로 임명했다”고 발표했다. 장기 이익 신탁은 재정적으로 이해관계가 없는 5명의 위원으로 구성된 독립적인 기구로, 시간이 지남에 따라 늘어날 앤트로픽 이사회의 일부(궁극적으로는 이사회의 과반수)를 선출 및 해임할 수 있는 권한을 갖고 있다.강력한 영향력을 지닌 최첨단 AI를 개발하고 유지한다는 앤트로픽의 사명에 따라 회사를 운영할 수 있도록 설계해 둔 독특한 지배구조다.