SUPERVISED FINE-TUNING

에단 몰릭 펜실베이니아대 와튼스쿨(경영학) 교수는 3일(현지시각) 자신의 뉴스레터를 통해 “오픈AI의 ‘딥 리서치(Deep Research)’는 고액 연봉의 전문가, 전문 컨설팅이 필요했던 작업을 수행할 수 있다”며 이같이 주장했다. 오픈AI가 2일 공개한 AI 에이전트(agent, 대리인) 기능 ‘딥 리서치’를 사용해 본 후 명확한 발전을 확인했다는 것이다. 그는 “사람의 개입 없이 특정 작업을 수행하는 자율 에이전트와 강력한 추론 전문 AI 모델(reasoner)이 딥 리서치로 수렴했다”며 “인간 전문가의 깊이로 연구를 수행하면서도 기계의 (빠른) 속도를 갖췄다”고 평가했다. 내부 평가도 긍정적이다. 피터 웰린더 오픈AI 제품 및 파트너십 담당 부사장은 전문 과학자의 딥 리서치 사용 사례를 X(옛 트위터)에 공유하며 “AI로 인한 과학 발전 가속화를 매우 낙관적으로 생각한다”며 “향후 5~10년 안에 대부분의 분야에서 생산성이 100배 향상될 것”이라고 했다.

“딥시크(DeepSeek)의 ‘R1-제로(Zero)’는 자연어로 사람처럼 추론(reasoning)하는 기술을 보여줬습니다. 강화학습(Reinforcement Learning, RL)만으로 만들어낸 결과입니다.” 아라빈드 스리니바스 퍼플렉시티 CEO는 29일(현지시각) 중국 스타트업 딥시크가 개발한 AI 모델 R1의 논문 일부를 공개하며 이같이 말했다. 딥시크가 달성한 성과가 놀랍다며 회사를 치켜세운 것이다. 그가 공유한 논문에는 AI 모델이 수학 공식을 풀어내는 과정에서 사람처럼 스스로 방법을 알아내고, 이를 ‘깨달음의 순간(aha moment)’라고 표현하는 시연 장면이 등장한다. 논문에 따르면 딥시크는 사람이 데이터를 생성, 모델 개선에 도움을 주는 STF(Supervised Fine-Tuning, 지도 미세 조정) 방식이 아니라 별도의 지침 없이 강화학습만으로 이 결과를 얻었다. 마치 알파고가 별도의 지침 없이 바둑 두는 방법을 찾아낸 것처럼 기계 스스로 수학 문제 해결법을 찾아낸 것이다. 실리콘밸리 벤처캐피털 a16z의 마크 앤드리슨은 R1에 대해 “지금까지 내가 본 가장 놀랍고 인상적인 혁신 중 하나였다”고 평가하기도 했다. 딥시크는 어떻게 실리콘밸리를 충격과 흥분에 빠뜨릴 수 있었을까? 딥시크 설립자의 목표, 비전은 무엇일까?

안녕하세요, 앞서가는 더밀크 구독자 여러분을 위한 AI 뉴스레터 [박원익의 AI인사이트]입니다. 음력 정월 초하루에 인사드립니다. 새해 복 많이 받으세요. “오픈AI, 앤트로픽, 구글, 메타, 마이크로소프트, 아마존이 해내지 못한 일을 200명의 소규모 팀이 해냈다.” (디디 다스, 멘로벤처스 투자자)한국 설 연휴 기간 실리콘밸리는 중국 스타트업 딥시크(DeepSeek)가 개발한 추론 특화 AI 모델 ‘R1’으로 떠들썩했습니다. 실리콘밸리뿐만 아닙니다. 주식시장에서는 지난 27일(현지시각) 하루 만에 시가총액 5890억달러(약 846조원)가 증발한 엔비디아를 비롯해 브로드컴, 오라클이 각각 18.15%, 13.39% 하락하는 등 AI 관련 기술주 동반 폭락했습니다.  왜 이런 일이 벌어졌을까요? ‘딥시크 쇼크’ 속에서 어떤 교훈을 얻을 수 있을까요?

“딥시크(DeepSeek)의 추론 특화 모델 ‘R1’은 이미 같은 비용으로 오픈AI의 o3보다 나은 성능을 냅니다.”실리콘밸리 유명 벤처캐피털 멘로벤처스의 AI 분야 투자자 디디 다스(Deedy Das)는 27일(현지시각) “o1 모델 대비 25배 저렴하기만 게 아니다”라며 이같이 밝혔다. 자신의 X(옛 트위터) 계정에 오픈AI의 o3 성능 그래프 사진을 올리며 R1과 직접 비교한 것이다. 그가 공개한 그래프는 AI 모델의 코딩 실력을 평가하는 ‘코드포스(Codeforces)’ Elo 점수 차트. 저비용 환경에서 o3-미니(low) 대비 높은 성능을 발휘할 수 있다는 게 디디 다스의 설명이다. 1월 20일 R1 발표 직후 AI 업계는 R1이 저렴한 비용으로 오픈AI의 첫 번째 추론 특화 모델 ‘o1’과 대등한 성능을 기록했다는 점에 주목했다. 한데 그로부터 단 일주일 만에 R1이 o1의 후속 모델 o3를 능가한다는 분석이 나왔다. 오픈AI의 추론 특화 모델 o3는 지난 12월 20일에 공개된 것으로 아직 정식 출시도 되지 않은 모델이다.2023년 중국 항저우에 설립된 신생 스타트업이 실리콘밸리 프론티어(frontier, 최첨단) 기업 오픈AI를 능가했다는 소식은 업계를 깜짝 놀라게 하기 충분했다. 오픈AI 출신의 AI 전문가 아라빈드 스리니바스 퍼플렉시티 CEO가 “정말이냐?”는 댓글을 달며 놀라움을 표시했을 정도다. R1의 성능이 o3를 능가한다는 구체적 근거는 무엇일까. R1 벤치마크 점수의 의미, R1의 핵심 기술과 쟁점을 살펴봤다.