‘딥시크 여파 어디로’ 네 가지 질문… “한국 AI, 세계 1위 목표해야”

설 연휴 시작부터 ‘딥시크(DeepSeek)’ 이야기를 몇 번이나 했는지 모르겠다. 

명절 기간과 그 다음 주 동안 인터뷰 여섯 번과, 두 번의 내부 미팅, 두 번의 자문을 하고 나니 이제는 딥시크라는 단어만 들어도 도망가고 싶다. 

기술적 배경을 포함해서 AI 업계가 앞으로 어떻게 변할지, 그리고 우리가 고민해야 할 방향이 무엇인지까지 묻는 내용들이 개발자 분들, 기자분들, 정책 담당하시는 분, 회사 구성원까지 다 다양한데, 겹치는 질문 내용들을 정리해 보면 몇 가지 가닥으로 요약이 된다. 

이제 한 번의 광풍 지나갔으니 질문들을 요약한 것만 정리해 보려 한다. 크게 네 가지 질문이다. 아래 답변들은 짧게는 15분 길게는 두 시간씩 이야기하던 내용의 요약이다. 다른 분들이 많이 지식이나 견해 나눠주셔서 이제 많이들 아는 내용들은 다 빼고, 나머지 내용들 중에서 가능하면 프로그래머나 연구자가 아닌 분들에게도 익숙한 단어들을 사용했다.

결론적으로는 싼데 비싸다. 중국의 C++(프로그래밍 언어)로 AI를 파고 드는 문화, NPU(신경망처리장치), 자강(自強) 시도와 같은 특징들이 한데 모인 결과물이기 때문이다. 

2017년 구글 디벨로퍼 엑스퍼트(Google Developers Expert)로 난징에 발표하러 갔을 때가 생생하다. 한 시간 발표에 두 시간 삼십 분 질의응답이 이어졌는데, 텐서플로(TensorFlow, 구글이 오픈소스로 공개한 기계학습 프레임워크) 질문은 하나도 없었고 전부 C++ 관련 질문이었다. 애초에 텐서플로나 파이토치(PyTorch, 메타가 오픈소스로 공개한 기계학습 프레임워크) 사이트에 중국에서 접근이 불가능했던 시절이기도 했다. 

프레임워크 종속에서 좀 벗어나 있는 것이 중국의 특징이다. 중국은 IT 시장 자체가 데스크탑을 바이패스(bypass, 우회)하고 모바일 시장으로 가면서, C++ 기반 딥러닝 코드와 모델을 NPU에 올린다거나, 모바일 메신저 플랫폼에서의 실행을 위해 자바스크립트로 인퍼런스(inference, 추론) 하는 걸 많이 시도해 왔다. 

또 다른 중국의 특징으로는 자강 시도를 들 수 있는데, 탈(脫) 텐서플로, 탈 파이토치를 하면서 알리바바 XDL, 텐센트 TNN 및 마리아나(Mariana), 바이두의 패들패들(PaddlePaddle) 같이 각자 프레임워크를 만들었다. 

그 결과 중국 대학의 딥러닝 커리큘럼에서도 파이토치나 텐서플로를 기본으로 가르치는 것이 아니라, 자체 개발 프레임워크를 다루는 경우들도 다수였다. 그러한 영향인지 중국의 엔지니어들은 새로운 것을 직접 만들어 쓰는 것에 거리낌이 없다.

게다가 딥시크는 HFT(High-frequency trading, 고빈도 매매) 하던 팀이 차린 회사이고, 그 분야에서 필요해서 만들었던 기술들을 많이 반영한 터라, 딥시크 v3처럼 싼데 비싼 모델이 나왔다. HFT를 하다 보면 레이턴시(Latency, 지연 시간) 해결에 목숨을 걸어야 해서 네트워크 스택(tech stack, 기술 모음)을 새로 쓰는 일이 흔하다. 

하여 딥시크 팀의 모회사는 HFT 시절부터 NCCL(엔비디아 컬렉티브 커뮤니케이션 라이브러리) 지원과 NV링크(NVLink, 엔비디아가 개발한 통신 링크)가 없는 기기들을 가져다가 SM(스트리밍 멀티프로세서, GPU 프로세싱 유닛) 스트리밍 일부를 예약해 GPU(그래픽처리장치)로 네트워크를 가속하고, 패킷(Packet, 네트워크에서 데이터를 주고받을 때 사용되는 데이터 조각)에서 오류 정정 루틴(routine, 명령어 집합)이나 일반 통신 규격을 바이패스해서 GPU 비용을 낮추는 등의 테크닉을 만들어 왔다. 

HFT 분야에선 CPU로 같은 작업을 할 때도 마찬가지로 윈도우나 리눅스 네트워크 스택을 안 쓰고 중간에 빼버려도 되는 절차를 다 생략하는 식의 최적화가 흔하다. 이런 걸 하던 사람들이 AI 한다고 모여서 GPU-GPU 통신을 최적화한 거라 GPU 간, 서버-투-서버(서버 간) 통신을 가속하는 압축/해제 연산을 위해 H800 GPU의 SM 132개 중 20개 정도를 통신 전담으로 재구성하고, GPU가 계산하는 동안 백그라운드에서 인피니밴드(InfiniBand, 고성능 컴퓨팅에 사용되는 스위치 방식의 통신 연결)로 데이터를 보내고 받는 듀얼 파이프(DualPipe) 기술을 개발했다. 

이런 하드웨어 튜닝으로 올투올(All-to-All) 통신 오버헤드(overhead, 추가적인 컴퓨터 자원)를 거의 0에 가깝게 줄여서 GPU의 75%가 통신 대기로 낭비되는 일반적인 상황과 달리 GPU 활용률을 거의 100%에 가깝게 끌어올려 적은 GPU로도 4배 이상의 효과를 냈다고 이야기하고 있다.

네트워크 말고 계산적으로도 재미있는 부분이 많은데 포워드(forward, 순방향)-백워드(backward, 역방향) 전부 엔비디아 칩이 제공하는 FP8(8비트 부동소수점) 포맷 중 한 가지(E4M3)로 통일한 후, 낮은 정확도로 인해 생기는 누적 오차는 4번 곱할 때마다 TF32(TensorFloat-32)로 역변환해서 보정하는 식으로 FP8 연산을 적극 활용하고, 순방향 역방향 계산을 오버랩해서 GPU가 쉬는 시간을 최소화하고, 불필요한 중간 계산값은 메모리에 저장하지 않고 필요할 때 재계산하는 등 메모리 사용량을 줄이는 최적화도 했다. 

그 결과 딥시크는 GPU 인터커넥트(Interconnect, 상호접속) 인프라 없이 GPU 훈련 변수 비용을 80억원 정도로 낮출 수 있었다. 물론 소문이 사실이라면 그 이면에는 이미 2조원 규모의 고정비용이 숨어 있지만 말이다.

두 번째 질문은 미중 갈등에 대한 건데, 중국을 무슨 갑자기 하늘에서 떨어진 충격으로 보는데 사실은 엄청난 규제를 걸어서 키운 시장이다. 한때는 300개가 넘는 LLM(대규모 언어 모델) 회사에 200개가 넘는 파운데이션(foundation, 기반) 모델이 쏟아져 나왔다. 

그중 대부분은 라마(Llama, 메타가 개발한 오픈형 AI 모델)를 미세조정하고 택갈이해서 파운데이션 모델 만들었다고 주장하던 터라, 중국 정부가 게임 판호 만들듯 AI 판호제를 도입해 10여개 사만 허가해 주고 나머지는 다 정리했다. 

판호를 내 줄 때는 기술 관련 인증도 있지만 가드레일이 국가 기준을 따랐는가부터 사업할 자본이 충분한지 등 다양한 면을 ‘종합적’으로 봐서 사업 허가를 내 주었다. 결국 판호를 받은 회사들은 기술력과 자본력이 있으면서도 중국 정부의 정책과 잘 일치된(align) 회사들이다. 중국 전기차 시장이나 배터리 시장과 비슷한 발전 양상인데, 중국 국내에서 엄청나게 경쟁시키고 살아남은 곳들은 강해져 해외까지 나가게 되는 패턴이다.

이 과정에서 살아남은 AI LLM 기업들은 미국, 유럽의 AI 스타트업들과는 차원이 다른 생존 경쟁을 경험했다. 판호를 받은 기업들은 3억명에 가까운 중국 내 활성 사용자(active user) 시장을 놓고 경쟁해야 하므로 기술뿐 아니라 사업적으로도 규모가 크다. 일례로 바이트댄스의 경우 10만 장 이상의 GPU를 보유한 것으로 추정된다.

이러한 환경에서 중국의 AI 기업들은 단순히 정부의 지원이 아니라, 극심한 경쟁과 최적화 경험을 통해 글로벌 경쟁력을 갖추게 됐다. 경쟁 상황 속에서 중국 회사들이 서로 모델을 발표하면 곧바로 대응하는 방식은 오픈AI(OpenAI)와 구글 간 경쟁과 유사한 양상을 보인다. 

그런 곳에서 살아남은 회사들인 이유로, 중국 AI 기업들은 미국이나 유럽 AI 모델들을 기술적으로는 존중하지만 경쟁력 차원에서는 자기 발 아래로 생각하는 경향이 있다. 딥시크는 비교적 최근에 그 흐름에 뛰어든 회사다. 알리바바가 큐원(Qwen)을 오픈 모델화하며 국내외적 명성을 얻은 것과 같은 방법론을 채택하고 있다.

한편, 미국의 GPU 수출 규제는 효과적인 견제가 되지 못했다. 바이든 행정부는 칩의 총연산 성능(FLOPS) 기준으로 규제를 걸었지만, 엔비디아는 이를 우회해 H100의 성능을 낮춘 H800을 중국에 공급했다. 

그런데 H800이 딱히 싸지도 않다. H100과 H800의 실제 판매 가격은 동일하다. H800은 대중 수출 규제를 피하고자 통계용 성능을 낮추는 몇 가지 변경의 결과로 FP32(32비트 부동소수점)와 FP64(64비트 부동소수점) 성능이 H100 대비 20분의 1로 줄어든 대신, FP16(16비트 부동소수점)과 FP8 성능은 동일하다. 

그런고로 16비트 이하 연산으로 훈련하는 메타의 라마나 딥시크의 v3 모델은 실질적인 제약을 받지 않았다. NV링크를 통한 칩 간 커뮤니케이션은 막혀있지만, 그건 MoE(Mixture-of-Experts, 전문가 혼합, 신경망 내에서 입력에 맞춰 특정 하위 네트워크를 활성화하는 방식으로 동작하는 기법)로 단일 모델 크기를 일정 정도 이하로 줄여서 하나의 모델을 여러 GPU로 쪼개 올려 훈련할 필요를 아예 막아 우회했다. 즉, 규제는 걸렸지만 실질적으로 LLM 훈련에는 차이가 없었다. 

비슷한 사례로 A100과 A800도 있는데, 두 제품은 사실상 동일한 칩이며, NV링크 스피드 감소와 함께 약간의 언더클럭(underclocking, 클럭을 낮춰 발열과 전력 소모를 줄이는 방법)을 적용한 차이가 난다. 미국의 제재 규칙이 AI 전문가에 의해 정해진 것이 아니라 슈퍼컴퓨팅 중심의 FLOPS 규제 관점에서 이루어졌기에 이 같은 허점이 생긴 것으로 보인다.

모델 개발 비용은 계속 줄어들고 있어서 2년 늦게 시작하면 10~20분의 1 비용으로 2년 전 모델을 개발할 수 있다. 작년부터는 데이터도 장벽이 되지 않는다. 일반 언어 합성데이터 분야는 개인적으로는 2024년 4월을 기점으로 끝났다고 본다. 라마3 405B 모델을 내놓으며 합성 데이터(실제 데이터를 모방한, 인간이 생성하지 않은 데이터) 생성용으로 쓰라고 구체적으로 언급했고, 바로 엔비디아가 메가트론LM(MegatronLM) 405B를 내놓으면서 합성 데이터는 마음껏 생성할 수 있는 대상이 됐다. 

어떤 희한한 프롬프트로 가이드를 하느냐에 따라 인간이 만든 데이터보다 더 풍부한 합성 데이터를 AI가 만들어 낼 수 있게 된 상황이다. 이런 상황에서 오픈AI 모델을 데이터 합성에 쓴 것이 아니냐는 지적은 핀트가 맞지 않는다. 훈련에 많이들 쓰는 데이터 소스인 셰어GPT(ShareGPT) 자체가 오픈AI가 관련 조항 만들기 전 사용자들이 챗GPT로 생성해서 공유한 데이터 세트다.

그러면 왜 미국이 이제서야 부랴부랴 저런 대응을 할까? AI 기술이나 코드 공유는 대부분 깃허브(GitHub)를 통해 이뤄지는데, 중국은 깃헙을 막고 자체적인 오픈소스 저장소인 기티(Gitee)를 운영하고 있다. 소비자 시장도 갈리는 상황이라 그냥 중국 사정에 어두웠던 것이 아닌가 하는 생각이 든다. ‘감은 있었는데 이정도일 줄은 몰랐다’ 정도가 적당할 듯하다. 

그래서 지금의 딥시크 쇼크는 미국의 대중 GPU 수출 규제(?)를 뚫고 만들어낸 모델의 성능과 레시피(recipe, 설계법)가 가져온 쇼크도 있지만,  개인적으로는 딥시크 서비스를 앱스토어를 통해 바로 사용할 수 있게 되며 만들어진 쇼크로 본다. 이 이야기는 세 번째 질문에 대한 답변으로 이어지겠다.

AI 분야는 경쟁 보호를 위한 지역적 해자(moat, 진입장벽)를 만들거나 해자가 자연히 생기기 어려운 분야다. 미국의 딥시크 쇼크는 이 앱의 미국 앱스토어 1위 등극이 상징적으로 보여준다. 

사용자는 애초에 AI가 어느 나라에서 만들어졌는지 따지지 않았다. 중요한 것은 AI의 기능이 얼마나 뛰어난지, 가격 경쟁력이 있는지, 그리고 얼마나 쉽게 사용할 수 있는지에 달려 있다는 걸 앱스토어 차트가 보여줬다. 

미국 소비자들은 중국산 모델이 일대일로(중국의 장기 국가 발전 전략 구상, 동아시아와 유럽 경제권을 연결)를 얼마나 긍정적으로 말하는지에는 큰 관심이 없었다. 정리해 보자면, 이번 딥시크 쇼크에서 배워야 할 것은 소비자 AI 분야에서는 기능, 가격, 접근성 세 가지가 가장 큰 요소고 나머지는 모두 부차적이라는 점이다. 기능과 가격 면에서 딥시크의 등장은 AI 산업이 급격한 비용 구조 혁신과 기술적 최적화 부분에 아직 기술적으로 접근할 공간이 많이 남았음을 알려준다. 

또한 한국이 AI 산업에서 어떤 길을 가야 하는지에 대한 근본적인 질문을 해 볼 시점이기도 하다. 모방과 추격으로는 글로벌 경쟁에서 살아남을 수 없음이 갈수록 명확해지고 있으며, 동시에 기존의 ‘소버린 AI(Sovereign AI, 자주적 AI)’ 전략이 현실적인지에 대한 의문이 들기 때문이다. 

국가가 아닌 소비자 레벨에서는 중국 모델이 미국에 제공되는데 소버린AI가 아무 장벽이 되지 못했다는 걸 보게 됐다. 

“독도는 대한민국 땅”이라고 답변하는 AI는 한국에서는 의미가 있지만, 글로벌 시장에서는 해자가 되지 않는다. 글로벌 모델들이 독도에 대해 대한민국 모델과 다른 이야기를 하면, 국산 모델만 그 이야기를 하는 것이 장기적으로 무슨 의미가 있겠는가? 프랑스의 미스트랄(Mistral) 모델은 프랑스어를 잘해서 뜬 게 아니라, 영어도 한국어도 잘해서 뜬 모델이다.

한국이 AI 산업에서 주도권을 가지려면 국내 시장을 목표로 하는 것이 아니라 세계 1위를 목표로 하는 길밖에 없는 상황이 됐다. 사실 원래부터 산업은 그랬다. 현재 한국이 강점을 가진 산업을 꼽아보면 가전, 조선, 반도체 등인데, 이 산업들은 최소한 세계 1~3위 자리를 차지하고 있다. 이 분야들 외에 과거 한국이 경쟁력을 확보했던 분야도 결국 글로벌 시장에서 1위를 했던 분야들이다. 

AI도 산업인 이상 예외가 아니다. 한국이 의미 있는 AI 산업을 유지하려면 글로벌 1위 전략을 목표로 설정해야 한다. AI는 지역적 장벽을 칠 수 없는 분야라서 적어도 APAC(아시아 태평양) 스케일로 시장을 키워야 한다. 2등을 할 자리가 없다.

한국은 알파고 쇼크의 영향으로 다른 국가보다 훨씬 빠른 시점인 2017~2020년 사이 AI 분야에 엄청난 투자를 진행했다. 하지만 이후 코로나19와 함께 AI 모델이 충분히 성숙하기 이전에 상업화 모델을 찾지 못한 결과 투자 정당화에 실패했고, 그 반동으로 지금은 과도하게 투자가 움츠러든 상황이다. 

당장 기반 모델 개발에 투자가 어렵다면, 글로벌 AI 시장에서 살아남기 위해 기반 모델을 오픈 소스 모델에 의존하더라도 그걸 이용해 특정 산업에 특화된 버티컬(vertical, 수직) 멀티모달 기반 모델을 개발하거나, 특정 도메인(domain, 영역)에서 독보적인 경쟁력을 확보하는 것부터 시작해야 할 거다. 

언어 데이터가 아닌 다른 특화 데이터가 필요한 분야에는 기회가 많이 남아있다. 그렇게 만든 버티컬 미세조정 모델 또는 추가 훈련된 기반 모델은 해당 회사의 경쟁력이 될 수 있고, 사업화까지 연동하기에 더 유리하다. 

이후 성공사례들이 나오고, 일반 기반 모델들이 이어져 나오게 될 것이다. 시간이 흐를수록 훈련 비용은 기하급수적으로 낮아지며, 소프트웨어 최적화가 그 정도를 조금 더 끌어내리고 있는 중이다.

오픈AI가 앞으로 원하는 기업가치로 투자 유치를 할 수 있을까?라는 질문이 있었다. 오픈AI를 대박 난 맛집에 비유해 보자. 레시피를 아무도 모른다. 하지만 맛있다. 

그런데 딥시크 R1이라고 인터넷에 레시피를 올렸는데, 딱 같진 않은데 생각보다 비슷한 맛을 내기 쉬운 거다. 백종원이 “사이다랑 깻잎으로 모히또 만들어도 그럴싸하쥬?” 하던 그 순간이다. 정확히 똑같진 않아도 비슷한 맛을 낼 수 있게 된 상황이다. 

비법이 털린 맛집이 가는 길은 세 가지로 정해져 있다. 브랜드 명성으로 버티거나, 체인점으로 가거나, 망하거나. 

오픈AI가 투자 유치 경쟁하면서 만들어낸 스토리가 이제 의구심을 사게 된 상황이다. 오픈AI는 o3 기반의 새로운 서비스를 계속 공개해 시선을 사로잡아 두려고 하겠지만, 복제에 걸리는 시간은 갈수록 짧아질 것이다. 

오픈AI 투자 라운드 종료 전 스토리에서 환상이 좀 걷히고 있는 중이며 환상이 걷히고 나면 이제 이 기업이 정말 500조원의 가치를 지닌 회사인가에 대한 의문이 들게 될 것이다. 

딥시크 레시피가 의미하는게 하나 더 있다. 딥시크는 ‘증류(distillation, 더 크고 복잡한 모델에서 작고 간단한 모델로 지식을 전달하는 기술)’를 통해 10B(100억 개) 미만의 파라미터(parameters, 매개변수)를 지닌 모델의 상태 공간 크기만으로도 추론(reasoning)을 충분히 할 수 있다는 것을 보여줬다. 그리고 그 작은 모델의 구조를 크게 비틀거나 할 필요 없이 컨텍스트 윈도우(Context Windows, 모델이 예측을 위해 참조할 수 있는 최대 입력 양) 관련 부분 조정, 증류만으로도 충분히 긴 추론 기능을 추가할 수가 있다는 것이 확실해졌다. 

너무 간단해서 다들 해 보고 있다. 나조차도 해당 내용 보고 나서 작게 CoT(연쇄적 사고) 데이터 세트 뽑아내서 바로 미세조정을 해 볼 정도였다. 다양한 크기의 모델을 만들고 공개하고 있는 메타와 알리바바에 지금까지의 기여 크레딧과 함께 앞으로 개발할 추론 모델의 스케일에 대한 일종의 개발 가이드라인을 준 상황이 된 것으로도 볼 수 있을 것이다.

엔비디아는 딥시크를 통해 오히려 더 강력한 독점을 구축할 가능성이 크다. 딥시크의 기술 기여를 들여다보면 엔비디아 전용 시스템 콜(system call, 운영 체제 커널에 접근하기 위한 인터페이스)을 활용하거나 오버라이드(override, 재정의)해서 구현해 버리는 바람에 회사 엔지니어링 차원에서는 오히려 엔비디아 종속성이 심해졌다. 

CUDA(엔비디아 GPU를 활용할 수 있게 해 주는 소프트웨어 스택)를 바이패스했다고 CUDA가 필요 없는 게 아니라, 딥시크가 엔비디아 전문가가 돼 CUDA의 일부 콜들을 PTX를 이용해 오버라이드, 엔비디아 GPU를 최적화하고 네트워크 스택을 만들어 올려 사용하고 있으니, 이후 다른 칩으로 갈아타는 비용이 너무 커지고 있는 경우다. 

대규모 훈련 칩 경쟁사도 AMD나 인텔밖에 없는데, 그 칩들이 엔비디아 PTX 수준의 칩 의존성이 덜하면서도 안정적인 어셈블리(기계어와 일대일 대응이 되는 저급 프로그래밍 언어) 레벨 시스템 콜을 제공할 가능성은 당분간 거의 없어 보인다. 

이와 별도로 앞으로 어떻게 될지는 봐야 알 것 같다. 정치적 상황이 워낙 급변하고 있어서다. 예전 같으면 “H800 시리즈로 이런 모델도 만들 수 있다!”며 광고할 엔비디아가 요즘은 “수출금지 어기고 판 것 아니냐?” 소리 나올까 봐 조용하게 있는 것을 보면 더 그렇다. 

중국에 공격적으로 판매를 늘리고 싶지만 그게 쉽지는 않은 엔비디아의 2025년 2월이다. 아마 올해 3월 엔비디아의 기술 컨퍼런스인 GTC 2025에서는 FP4/FP8 성능으로 훅 올라간 컴퓨팅 성능 그래프를 보여주며 “트레이닝(Training, AI 훈련)도 FP8 쓰세요. 인퍼런스는 FP4!”로 대대적인 홍보를 할 것 같다. 

올해 초 마이크로소프트가 FP4로 실용 인퍼런스 기술을 공개한 것도 함께 묶어 ‘엔비디아 칩만 지원하는 FP4’라는 스토리로 여러 가지 이야기를 하지 않을까 싶다.

AI 인프라쪽에 거대하게 펼쳐진 최적화 공간을 모두가 봤다. 앞으로 AI 기술 경쟁은 더 가속화될 것 같고, 소프트웨어 레벨 최적화를 통한 비용 절감 또한 핵심 화두가 될 듯하다. 

오픈 소스 활용, 하드웨어 최적화 등으로 개발 비용을 줄이는 게 승패를 좌우할 수 있다는 생각을 하게 됐다. 우리나라도 적당한 AI 기술 개발 또는 지역적 AI를 넘어 처음부터 글로벌 경쟁력을 갖추는 데 몰두해야 한다. 

성능과 비용, 접근성을 모두 높이는 전략으로 버티컬 시장을 바로 타겟팅할 필요가 있다. 엔비디아의 독점은 당분간 계속될 테고 오픈AI도 아직은 시장의 신뢰를 받고 있지만 딥시크 같은 사례가 계속 나오면 전망이 흔들릴 것이다. 

엄청 재미있는 시간이 열리고 있지만, 그만큼 피로하고 위험한 시간이기도 하다. 누구도 정답을 모르는 폭풍 가운데의 상황이라 계속 예의주시하며 빠르게 전략을 세우고, 지속적으로 계속 수정해 나가는 방법밖에 없는 시기다.