엔비디아 돈 버는 방식 바뀌었다... AI 시장의 충격적 구조

구독자 여러분 안녕하세요, 실리콘밸리와 글로벌 혁신 현장에서 최신 AI 산업 트렌드와 인사이트를 전해드리는 박원익의 AI인사이트입니다. 

“엔비디아가 시장을 철통같이 장악하고 있다.”

월스트리트저널(WSJ)은 23일(현지시각) 엔비디아가 “소규모 경쟁사들로부터 기술과 인재를 신속하게 확보해 왔다”고 분석했습니다. 지난 분기 680억달러(약 102조2000억원)라는 사상 최대 매출을 올린 엔비디아가 자금력을 바탕으로 공격적인 M&A 및 투자 전략을 전개하며 ‘AI 생태계의 공급자이자 투자자, 그리고 채권자’라는 유일무이한 지위를 획득했다는 설명입니다.

실제로 이번 GTC 2026 때 진행된 패널 토론에서 이와 같은 엔비디아의 막강한 영향력이 확인됐습니다. 퍼플렉시티, 커서, 미스트랄 AI, 싱킹머신스랩 등 AI 생태계 리더 10명이 모여 황 CEO가 주관한 패널 토론에 참여한 것이죠. 엔비디아는 이 기업들에 자금을 투자한 투자자이자 첨단 칩을 제공하는 공급자이며 이들로부터 칩 판매 대금을 받는 채권자입니다. 

시장에서는 엔비디아의 최신 칩을 구하기 어렵습니다. AI 기업들은 경쟁력 확보를 위해 강력한 AI 칩이 필요하죠. AI 리더들이 젠슨 황 CEO를 찾고, 엔비디아에 더욱 의존하게 되는 이유가 여기에 있습니다. 

팩트 요약: 베라 루빈, AI 팩토리의 기둥

1. 엔비디아가 지배하는 AI 생태계의 출발점은 AI 플랫폼(GPU, CPU, 메모리)입니다. 엔비디아는 GTC 2026에서 3분기 공급될 차세대 플랫폼 베라 루빈을 강조했습니다.

2. 전 세대 블랙웰과 비교하면 AI 추론 성능은 최대 5배, 에너지 효율을 포함한 와트 당 성능은 10배 개선됐다는 게 엔비디아 측 설명입니다.  

왜 중요한가: 

황 CEO는 이번 GTC에서 에이전트 스케일링(Agentic Scaling)을 언급하며 수많은 에이전트가 업무를 담당하게 되면서 추론(Inference) 수요가 폭증할 것이라고 설명했습니다. 

이렇게 AI의 작업량이 늘어나면 AI 모델이 이해하고, 생성하는 데이터의 최소 단위인 토큰(token)이 대량으로 필요해지는데, 이 토큰을 생산하는 공장이 바로 엔비디아의 AI 플랫폼이라는 설명입니다.

급증하는 추론 수요를 뒷받침할 핵심 인프라로 엔비디아는 베라 루빈, 그리고 그록(Groq) LPU(언어처리장치)를 더한 그록 3 LPX를 제시했습니다.

👉더 알아보기: 베라 루빈이 가속하는 에이전트 세상

팩트 요약: 엔비디아 경쟁력은 시스템 설계 능력

1. 핵심은 엔비디아가 GPU(루빈)뿐 아니라 CPU(베라), 네트워킹(NV링크) 제품은 물론, 스토리지 인프라, 전력, 냉각까지 염두에 둔 종합적인 시스템을 설계한다는데 있습니다. 

2. 컴퓨팅의 단위가 GPU에서 AI 팩토리로 커진 것이죠. HBM4(고대역폭 메모리 4세대) 같은 고성능 메모리도 이 시스템에 포함되는 핵심 제품입니다. 

왜 중요한가: 

황 CEO는 렉스 프리드먼 팟캐스트에서 “AI 모델 아키텍처는 6개월마다 빠르게 발전하는 반면, 시스템 및 하드웨어 아키텍처는 3년마다 발전한다. 그래서 2~3년 후의 변화를 예측하는 것이 중요하다”고 했습니다. 

전 세계 모든 AI 회사와 협력하며 그들이 겪는 어려움을 파악, 변화하는 알고리즘에 적응할 수 있는 유연한 아키텍처를 시스템 단위로 구축하고 있는 것이죠.

👉더 알아보기: 엔비디아 AI 팩토리 구조 대해부

팩트 요약: 초고속 추론, 새로운 경쟁 포인트

1. 엔비디아 GTC 오프라인 현장 4회 참석, 발표를 포함하면 7회째 참여한 AI 인프라 전문가 신정규 래블업 대표는 이번 GTC 2026에서 초고속 추론이 부상했다고 분석했습니다. 

2. AI 업계 경쟁의 무게 중심이 기술에서 ‘누가 더 빨리 토큰을 만들어 이를 돈으로 바꾸느냐의 싸움’으로 바뀌고 있다는 것입니다. 

왜 중요한가: 

사람을 대신해 업무를 수행하는 AI 에이전트(agent, 대리인)가 더 많이 사용될수록 처리 속도가 중요해집니다. 예컨대 코딩 에이전트의 경우 더 빨리 코딩할 수 있으면 결과물 출시를 앞당길 수 있기 때문에 기업들이 돈을 더 내는 것이죠.

엔비디아가 빠른 추론에 특화한 그록의 LPU를 새롭게 도입한 것도 이런 이유라는 게 신 대표의 설명입니다.

👉더 알아보기: “AI 경제 축이 바뀌었다” 3대 변화

오늘의 레터에서 다룬 세 가지 이슈에서 한발 더 나아가 더밀크만의 뷰(view)를 제공해 드리는 위클리 인사이트 코너입니다. 

이번 주는 21일(현지시간) 일론 머스크 테슬라 CEO가 텍사스 오스틴에서 개최한 테라팹(TeraFab) 이벤트를 분석한 아티클을 준비했습니다. 머스크 CEO는 어떤 미래 청사진을 그리고 있을까요?

👉위클리 인사이트: 일론 머스크의 AI 제국 설계도

• 구글 딥마인드 애자일 로봇과 전략적 파트너십: 구글 딥마인드는 24일(현지시각) 제미나이 로보틱스 파운데이션 모델을 휴머노이드 로봇 개발사 ‘애자일 로봇’ 하드웨어와 통합하기 위한 전략적 파트너십을 체결했다고 발표
   

• 메타, Arm과 CPU 공동 개발 협업: 메타는 24일 Arm과 새로운 파트너십을 체결했다고 발표. 컴퓨팅 및 AI 인프라 지원을 위해 특수 목적의 CPU를 공동 개발한다는 계획. 양사가 공동 개발한 Arm AGI CPU의 랙당 성능이 x86 아키텍처 대비 2배 향상됐다는 설명
   

• 클로드 코드 오토 모드 출시: 앤트로픽은 24일 코딩 및 에이전트 작업에 활용되는 ‘클로드 코드(Claude Code)’에 오토 모드(auto mode, 자동 모드)를 추가했다고 발표. 이 모드에서는 클로드가 사용자를 대신해 권한에 대한 결정을 내릴 수 있음. 자체 안전장치가 각 작업이 실행되기 전에 이를 확인

구독자 여러분들의 성공과 꾸준한 성장을 위해 더밀크는 계속해서 혁신의 현장, 미래가 바뀌는 순간을 목격하고 전달해 드리겠습니다. 감사합니다.

뉴욕에서
박원익 드림