AI 규제

"그들은 자기개선 초지능으로 질주하면서 우리 생명을 걸고 도박을 하고 있다."8일(현지시각) 소셜미디어 X에 올라온 글입니다. 앤트로픽의 사전학습 연구원 제이콥 콕슨(27)이 그날 사직하며 남긴 글이었습니다. 지분 베스팅을 두 달 남기고, 받을 수 있었던 돈까지 버리고 나갔습니다. 반응은 폭발적이었습니다. 1억 5000만 회가 넘게 읽혔죠.그런데 이튿날 앤트로픽에서 일하는 사람이 답글을 달았습니다."우리는 AI가 모든 인류를 죽일 수 있다고 진지하게 믿고 있다. 10년 안에 그 확률이 10%를 넘는다고 본다."에반 허빙거, 앤스로픽 얼라인먼트 사이언스 책임자입니다. AI가 인간의 의도를 벗어나지 않게 붙잡아두는 일이 그의 본업입니다. 그런 사람의 입에서 이런 무시무시한 말이 나온거죠.👉 왜 중요한가. 게시물 두 개가 미국의 AI 입법 시계를 앞당겼습니다. 걸린 시간은 단 사흘.이틀 뒤 조시 홀리 상원의원이 샘 알트먼에게 보낸 조사 서한에 허빙거의 10%가 근거로 인용됐습니다. 같은 주 스무 명 넘는 의원이 규제 요구에 이름을 올렸고, 로리 트레이핸 하원의원은 X에 "전화는 집 안에서 걸려오고 있다"고 썼어요. 위험은 내부에 있다는 공포영화의 한 대사죠.생각해 보세요. 비행기 열 대 중 한 대가 떨어진다면 아무도 탑승 게이트에 가지 않을 겁니다. 그런데 그 숫자를 비행기 만드는 회사의 안전 책임자가 말한 겁니다. 당연히 사람들은 패닉에 빠졌습니다.🧭 그래서?하원의 프론티어법은 대형 AI 회사에 외부 감사, 24시간 내 사고 신고, 정부의 배포 중단 권한을 강제합니다. 기준선은 성능이 아니라 최근 3년간 개발비 10억 달러이상을 쓴 기업들입니다. 반대로 이야기하면 감사 비용을 감당할 수 있는 회사만 규제 선 안쪽에 남는다는 겁니다. 안전 규제가 진입장벽으로 바뀌는 거죠. 이번 회기 통과 가능성은 낮지만 캘리포니아는 이미 감사 기준 법안을 처리했습니다. 규제 시계가 빨라지고 있습니다.🔗 원문 보기 [워싱턴 포스트]

“우려스러운 일이다. 중국산 모델인 ‘키미 K3(Kimi K3)’가 처음으로 코드 아레나에서 1위를 차지했다. 그러는 동안 미국은 스스로 발목을 잡고 있다.”데이비드 색스 미국 대통령 과학기술자문위원회(PCAST) 공동의장이 소셜미디어를 통해 공개적으로 중국 AI 모델에 대한 강력한 우려를 표명했다. 데이비드 색스 의장은 17일(현지시각) X에 올린 글에서 “정치인과 관료들은 새로운 데이터 센터를 금지하고, 주 차원의 규제를 쏟아부으며 최첨단 모델을 사전 승인할 새로운 연방 기관의 설립을 추진하고 있다”며 “이러면 AI 경쟁에서 뒤처진다. 우리가 스스로 발목을 잡는다면 선두 입지가 순식간에 사라지는 것을 지켜볼 수밖에 없을 것”이라고 경고했다. 허가 없이 이뤄지는 혁신이 미국을 기술 강국으로 만든 비결이었는데, 이런 장점이 사라질 위험에 놓여 있다는 주장이다. 데이비드 색스 의장의 반응은 미국이 중국 AI를 얼마나 경계하고 있는지 보여주는 단적인 예다. 실제로 16일 중국 스타트업 문샷 AI가 오픈웨이트(Open-weights, 공개 가중치) 모델 키미 K3를 공개하자 미국 실리콘밸리에서는 주말 내내 격론이 벌어졌다. 2.8조 개 매개변수를 가진 이 모델은 프런트엔드 코딩 평가에서 앤트로픽의 ‘페이블 5’와 오픈AI의 ‘GPT-5.6 솔’ 등 미국의 최첨단 AI 모델을 앞섰기 때문이다. 👉중국 오픈 모델 ‘키미 K3’ 프런티어 AI 진입했다… 토큰 경제 대전환

AI의 가파른 진화에 정부의 개입이 시작됐다. AI가 '경제와 안보'라는 국가 경영에 가장 민감한 부문에 절대적 영향력을 행사하기 시작하면서 미 정부가 AI를 멀찍이 지켜보던 자세를 버리고 경기장 안으로 직접 들어왔다. 첫 번째 문을 연 것은 캘리포니아였다. 지난달 개빈 뉴섬 주지사는 행정명령 N-6-26을 통해 주 산하 기관들에 'AI가 일자리를 어떻게 바꾸는지 데이터로 추적하라'고 지시했다. 두 번째 문은 연방 정부가 열었다. 6월 12일(현지시각), 미 정부는 국가안보 권한을 근거로 앤트로픽의 최신 모델인 페이블 5와 그 상위 모델 미토스 5의 작동을 강제로 멈춰 세웠다. 근거는 간단했다. 한쪽은 AI를 '노동시장의 변수'로 다른 한쪽은 '국가안보의 변수'로 다루기 시작한 것이다.

‘이스라엘과 팔레스타인에 대한 일론 머스크의 견해를 검색 중입니다.”지난 10일(현지시각) 공개된 xAI의 최신 AI 모델 ‘그록4(Grok 4)’가 보여준 사고방식은 전 세계에 큰 충격을 던졌다. 논란이 되는 질문을 던지면 xAI의 설립자인 일론 머스크의 입장을 먼저 참조하는 방식으로 작동한다는 사실이 확인됐기 때문이다. xAI는 이후 그록4의 시스템 프롬프트(system prompt, AI 챗봇에 대한 일련의 지침)를 수정해 이 문제를 해결했다고 밝혔지만, 이 사건은 특정인이나 특정 기업의 관점을 강화하고 주입하는 ‘에코 체임버(echo chamber, 반향실)’ 효과가 언제든 AI에 적용될 수 있다는 우려를 불러일으켰다. AI가 우리 삶에 미치는 영향이 커지면서 독성(toxicity), 환각(Hallucination), 개인 정보 보호 같은 문제도 함께 대두되는 추세다. 더 리스닝 앱(The Listening App)에 따르면 이미 미국인의 60%는 일주일에 한 번 이상 AI 도구를 사용하며 6명 중 1명은 일상생활에서 AI에 의존하고 있다고 답했다. 플로리다에서는 10대 소년이 AI 챗봇의 조언을 듣고 극단적 선택을 하는 충격적인 사건이 발생하기도 했다.  이런 문제를 어떻게 해결하면 좋을까? AI 안전·규제 분야 전문가 마이클 컨스(Michael Kearns) 펜실베이니아대학 컴퓨터 및 정보과학과 교수는 더밀크와의 인터뷰에서 AI가 서비스할 그룹을 대표하는 데이터를 충분히 확보하는 것과 AI가 제시하는 편향, 불공정, 독성 답변에 대한 ‘가드레일(Guard rail)’을 설정하는 것이 중요하다고 강조했다. 결국 인간이 적극적으로 개입해야 문제를 해결할 수 있다는 것이다. 2020년부터 아마존 학자(Amazon Scholar)로 활동하며 AWS ‘RAI(Responsible AI)’팀을 설립한 컨스 교수를 AWS 서밋 뉴욕 2025 컨퍼런스에서 만나 책임감 있는 AI를 어떻게 구현할 수 있는지, 소버린 AI 관점에서 한국이 어떤 전략을 취하면 좋을지, 한국의 젊은 과학자들에게 전하고 싶은 조언은 무엇인지 물었다.다음은 인터뷰 전문

안녕하세요, 앞서가는 더밀크 구독자 여러분을 위한 AI 뉴스레터 박원익의 AI인사이트입니다. “이 미친 지출 법안이 통과되면 다음날 ‘아메리카당(America Party)’이 창당될 것입니다.”일론 머스크 테슬라 CEO는 6월 30일(현지시각) X에 “민주당-공화당 양당 체제에 대한 대안이 필요하다”며 이같이 썼습니다. 트럼프 대통령이 추진하는 ‘크고 아름다운 법안(One Big Beautiful Bill Act)’에 반대하며 정치적 행동을 예고한 것입니다. 법안의 핵심은 법인·소득세율 인하를 포함한 주요 세금 감면 연장. 이 법안은 7월 1일 미국 연방 상원에서 51 대 50으로 통과, 하원 표결로 넘어갔습니다.   이 법안이 통과되면 특정 분야에 세금 감면 혜택을 제공하는 대신 재생 에너지 세액 공제는 크게 축소될 전망입니다. 전기차 구매에 대한 세금 공제(크레딧) 등 테슬라가 누리던 혜택이 사라질 위기에 놓이자 트럼프와의 불화가 재점화한 것으로 풀이됩니다. 테슬라의 주가는 이날 5% 넘게 급락했습니다.

안녕하세요, 앞서가는 더밀크 구독자 여러분을 위한 AI 뉴스레터 [박원익의 AI인사이트]입니다. 매주 수요일 발행하는 ‘AI인사이트’를 통해 AI 리더들의 전략, 글로벌 테크업계 최신 흐름 및 중요 시그널을 놓치지 말고 확인하세요! “미래와 인사하세요.”무스타파 슐레이만 마이크로소프트(MS) AI CEO는 10월 1일(현지시각) “코파일럿(Copilot)을 한 단계 더 발전시켰다. 실시간으로 보고, 듣고, 말하며 도움을 줄 것”이라며 이같이 말했습니다.그는 MS의 AI 어시스턴트 ‘코파일럿’과 사용자가 음성으로 대화하는 데모 영상도 공개했습니다. 업그레이드된 코파일럿은 사용자의 마인크래프트 게임 플레이 화면을 실시간으로 보면서 사용자가 질문한 공략법을 정확히 안내했습니다. 사용자와 함께 보고, 대화할 수 있는 AI PC가 등장한 것입니다. 

더밀크와 AI 검색 기업 퍼플렉시티가 공동 개최한 'AI 검색의 미래' 밋업에서 아라빈드 스리니바스 퍼플렉시티(Perplexity) CEO는 구글과의 검색 경쟁 구도, 그리고 캘리포니아 등에서의 AI 규제 시도 등에 대해 의견을 피력했다. 이날 행사는 손재권 더밀크 대표의 사회로 진행됐다.그는 "구글이 '혁신가의 딜레마'에 빠져 있다"며 "한가지만 하는 퍼플렉시티가 구글에 비해 경쟁 우위를 가질 수 있다"고 주장했다. 그러나 AI 스타트업이 빅테크 기업과 경쟁하기 쉽지 않음을 인정하며 빅테크 대마불사와 같은 상황이 결국 '소득불평등'으로 이어질 가능성이 높다는 점을 우려했다.스리니바스 CEO는 실리콘밸리의 주목받는 생성AI 스타트업 CEO 답게 AI 규제에 대해선 반대의 입장을 분명히 했다. [퍼플렉시티 CEO AI 검색의 미래 밋업]① "검색 넘어 '행동 엔진' 목표... AI 슈퍼앱으로 발전" ② "한국, 문화와 가치 반영한 자체 LLM 개발해야"

더밀크와 AI 검색 기업 퍼플렉시티가 지난 5일 서울 강남구 씨스퀘어에서 열린 밋업에서 약 150명의 더밀크 구독자와 퍼플렉시티 프로 이용자가 참석한 가운데 열린 'AI 검색의 미래' 밋업에서 아라빈드 스리니바스 퍼플렉시티(Perplexity) CEO는 "한국은 독자적 대규모 언어 모델(LLM)을 갖춰야 한다"며 한국을 향한 조언을 아끼지 않았다. 그는 "한국의 LLM은 영어로 훈련하면서도 한국 문화와 관련 데이터 세트에 특화돼야 한다. 한국 문화의 가치를 흡수하는 LLM이 필요하다"고 강조했다. [AI 검색의 미래]① 퍼플렉시티, 문답엔진 넘어 행동엔진 목표 .. AI 슈퍼앱으로 발전③ "구글은 혁신가의 딜레마에 빠져 있다"

한국과 실리콘밸리를 잇는 크로스보더 미디어 더밀크와 AI 검색 기업 퍼플렉시티(Perplexity)가 공동 개최한 'AI 검색의 미래' 밋업에서 아라빈드 스리니바스 퍼플렉시티 CEO는 '검색'을 넘어 인간의 행동을 유도할 수 있는 '액션 엔진'으로 진화하는 것이 목표라고 밝혔다. 스리니바스 CEO는 지난 5일 서울 강남구 씨스퀘어에서 열린 밋업에서 약 150명의 더밀크 구독자와 퍼플렉시티 프로 이용자가 참석한 가운데 생성AI 기술 및 비즈니스의 미래 방향, AI 규제 및 소버린 AI 등에 대한 견해를 소상히 밝혔다. 행사는 손재권 더밀크 대표의 사회로 진행됐다.그는 퍼플렉시티가 구글과 챗GPT의 중간에 위치한 서비스로 AI 기술을 활용한 '답변 엔진(answer engine)' 개념을 사용한다고 설명했다. 구글이나 챗GPT 등의 기존의 검색 엔진 또는 AI 챗봇과는 다른 방식을 택했다. 퍼플렉시티는 신뢰할 수 있는 웹 소스를 기반으로 답변을 제공하고 항상 출처도 명확히 밝힌다. 이런 차별화된 서비스로 정확도와 사용자 편의성을 높여 단기간에 월 활성 사용자(MAU) 1000만명 이상을 확보, 구글의 아성을 무너뜨릴 수 있는 잠재력을 갖춘 스타트업으로 평가받고 있다.

오픈AI가 캘리포니아 주의 새로운 AI 안전 법안 SB1047에 반대 의사를 표명했습니다. 이 법안은 대규모 AI 모델 개발 기업들에게 엄격한 안전 기준을 요구하고 있어, 기술 업계의 주목을 받고 있는데요. SB1047 법안은 '프론티어 모델'로 정의되는 대규모 AI 모델에 적용되며 다음과 같은 요구사항을 포함합니다. 충분한 안전 프로토콜 구현, 비상시 AI 모델 작동을 중지할 수 있는 '킬 스위치' 도입, AI 모델의 재앙적 결과 방지를 위한 '합리적인 주의' 의무, 그리고 캘리포니아 법무장관에게 준수 성명서 제출입니다. 해당 법안은 최소 1억달러(약 1338억원)의 개발 비용이 소요되거나 훈련 중 10^26 FLOPS(매우 큰 규모의 인공지능 모델)를 사용하는 모델에 적용될 예정입니다.  오픈AI는 이 법안이 AI 산업의 혁신을 저해할 수 있다고 주장합니다. 오픈AI의 최고전략책임자는 "AI 혁명은 이제 막 시작됐고, 캘리포니아의 글로벌 AI 리더십이 주의 경제적 역동성을 촉진하고 있다"며 "SB1047 법안은 이러한 성장을 위협하고 혁신의 속도를 늦출 것"이라고 경고했습니다.👉 기업들 강력한 AI 기술 공개 전 안전성 테스트 의무화반면, 법안의 지지자인 스콘 위너(Scott Wiener) 상원의원은 이 법안이 대규모 AI 연구소들이 이미 약속한 안전 조치를 이행하도록 요구하는 합리적인 조치라고 주장합니다. 그는 법안이 AI 위험을 미리 예측하고 이에 대한 대응을 요구하는 것이라고 강조했습니다.SB1047은 이번 달 캘리포니아 주 의회에서 투표에 부쳐질 예정이며, 통과될 경우 개빈 뉴섬(Gavin Newsom) 주지사의 최종 결정을 기다리게 됩니다. 뉴섬 주지사는 AI 혁신 촉진과 위험 완화의 균형에 대해 언급한 바 있어, 그의 결정에 이목이 집중되고 있습니다. SB1047 법안은 AI 기술의 발전과 안전 사이의 균형을 찾으려는 시도로 볼 수 있습니다. 그러나 법안의 효과와 영향력은 여전히 불확실합니다. AI 기술의 빠른 발전 속도를 고려할 때, 법규제가 기술 발전을 따라가지 못할 가능성도 있습니다. 이 사례는 AI 규제에 있어 주 정부와 연방 정부의 역할 분담, 그리고 글로벌 차원의 협력 필요성에 대한 논의를 촉발할 수 것으로 보입니다.

안녕하세요. 지금 미국 월가와 실리콘밸리는 2023년 3분기(7~9월) 실적발표에 눈과 귀가 쏠려있습니다. 실적발표 중에 S&P500지수와 나스닥 지수가 고점 대비 10% 이상 하락, 기술적 조정 국면에 들어서면서 투자자 입장에서는 어려움이 가중됐습니다. 실적발표는 '지난분기' 성과의 결과물이죠. 하지만 이번 3분기 실적발표는 2024년 이후 펼쳐질 미래 비즈니스 방향'을 볼 수 있었기 때문에 '주가' 이상의 시사점이 있었습니다.  특히 '매그니피센트7'으로 불리는 7대 빅테크 기업의 움직임에 관심이 집중됐습니다. 마이크로소프트(MS), 알파벳(구글), 메타, 아마존, 테슬라 등 5개 기업이 실적을 발표를 했고 오는 11월 2일, 애플이 실적을 발표(엔비디아는 11월 21일)합니다. 더밀크가 3분기에 주목한 것은 '생성AI' 기술이 실적과 주가에 본격적으로 영향을 줬기 때문입니다. 애플 실적발표 이후 결과에 따라 MS가 애플을 뛰어넘고 시총 1위가 될 것으로 예상합니다. 지난 27일 기준 MS 시총은 2조4500억 달러로, 1위 애플(2조6300억 달러)을 1800억 달러(7.3%) 차로 추격하고 있습니다. 애플은 특히 중국에서 부진과 신규 제품, 서비스 모두 부진한데 비해 MS는 중국에서도 탄탄대로이며 생성AI 효과를 보면서 클라우드 사업에서도 큰 폭의 성장을 나타냈습니다. MS와 애플의 시총이 뒤집히면 추이는 당분간 계속 될 것으로 봅니다. 그만큼 비즈니스에서 생성AI가 주는 영향은 상상 이상입니다. 

구글, 마이크로소프트, 오픈AI, 앤트로픽이 1000만달러(약 135억원) 규모의 ‘AI 안전 기금(AI Safety Fund)’을 조성했다. 펀드 자금을 활용해 AI 안전 분야 연구를 촉진한다는 목표다. 구글, 마이크로소프트, 오픈AI, 앤트로픽은 25일(현지시각) “1000만달러 규모의 AI 안전 기금을 신설했다”며 “책임감 있는 AI에 대한 논의를 확대하기 위해 업계 전문 지식을 더 많은 청중과 공유할 계획”이라고 밝혔다. 구글, 마이크로소프트, 오픈AI, 앤트로픽은 지난 7월 AI 안전 문제 해결을 위한 조직인 ‘프론티어 모델 포럼(Frontier Model Forum)’을 발족했다.