LPU

“추론의 변곡점(inference inflection)이 왔다.”젠슨 황 엔비디아 CEO는 GTC 2026에서 현재 AI 컴퓨팅 수요가 “상상을 초월하는” 수준에 이르렀다고 강조했다. ‘클로드 코드(Claude Code)’ 같은 코딩 에이전트(agent, 대리인)가 토큰(token, AI가 처리하고 생성하는 데이터의 최소 단위) 수요를 기하급수적으로 증가시키고 있다는 것이다. 지난 2025년 12월 엔비디아가 AI 칩 스타트업 그록(Groq)의 IP(설계자산)를 200억달러(약 29조원)에 확보하고, 핵심 인력 대부분을 영입한 것도 이런 이유 때문이었다.  내용은 인수였지만, 외형은 라이선스 계약 형식을 취했다. 완전한 인수였다면 독과점 규제 심사를 피할 수 없었을 것이다. 철저히 계산된 전략, 발 빠른 통합작업을 거쳐 엔비디아는 계약 후 단 4개월 만에 그록의 기술을 베라 루빈 추론 스택(stack, 기술 및 도구의 집합)에 통합한 시스템 컨셉을 GTC 2026에서 선보일 수 있었다.👉엔비디아, 그록 29조원에 흡수… AI 산업 ‘훈련에서 추론 시대로’엔비디아는 왜 200억달러라는 거액을 투자했을까. GPU만으로는 갈수록 복잡해지는 추론 작업량(workload)을 최적의 효율로 처리하기 어렵기 때문이다. 에이전틱 AI 시대의 추론은 두 가지 근본적으로 다른 연산을 요구하고 있다. 이 두 연산을 하나의 하드웨어로 처리하는 것은 구조적으로 비효율적이다. 그록의 LPU는 그중 하나에 특화돼 있었다.

구독자 여러분 안녕하세요, 실리콘밸리와 글로벌 혁신 현장에서 최신 AI 산업 트렌드와 인사이트를 전해드리는 박원익의 AI인사이트입니다. “엔비디아가 시장을 철통같이 장악하고 있다.”월스트리트저널(WSJ)은 23일(현지시각) 엔비디아가 “소규모 경쟁사들로부터 기술과 인재를 신속하게 확보해 왔다”고 분석했습니다. 지난 분기 680억달러(약 102조2000억원)라는 사상 최대 매출을 올린 엔비디아가 자금력을 바탕으로 공격적인 M&A 및 투자 전략을 전개하며 ‘AI 생태계의 공급자이자 투자자, 그리고 채권자’라는 유일무이한 지위를 획득했다는 설명입니다.실제로 이번 GTC 2026 때 진행된 패널 토론에서 이와 같은 엔비디아의 막강한 영향력이 확인됐습니다. 퍼플렉시티, 커서, 미스트랄 AI, 싱킹머신스랩 등 AI 생태계 리더 10명이 모여 황 CEO가 주관한 패널 토론에 참여한 것이죠. 엔비디아는 이 기업들에 자금을 투자한 투자자이자 첨단 칩을 제공하는 공급자이며 이들로부터 칩 판매 대금을 받는 채권자입니다. 시장에서는 엔비디아의 최신 칩을 구하기 어렵습니다. AI 기업들은 경쟁력 확보를 위해 강력한 AI 칩이 필요하죠. AI 리더들이 젠슨 황 CEO를 찾고, 엔비디아에 더욱 의존하게 되는 이유가 여기에 있습니다. 

1편에서 살펴본 것처럼, 엔비디아가 정의한 AI는 더 이상 ‘연산 장치’가 아니라 ‘토큰을 생산하는 공장’이다. 그 공장을 실제로 구현한 것이 바로 베라 루빈 플랫폼이고, 그 설계 철학이 가장 집약된 형태가 ‘NVL72’다.NVL72는 단일 랙 안에 루빈 GPU 72개와 베라 CPU 36개를 탑재하고, NV링크 6, 스펙트럼-X, 블루필드-4, CMX 스토리지, 커넥트X-9까지 총 7종의 칩을 하나로 묶은 통합 시스템이다. 총 GPU 메모리만 20.7TB, LPDDR5X를 포함한 전체 고속 메모리는 75TB에 달하며, 추론 성능은 3,600 PFLOPS, 즉 3.6 엑사플롭스에 이른다.그러나 이 시스템의 진짜 의미는 수치에 있지 않다.칩을 쌓는 방식에서 벗어나, 랙 자체를 하나의 거대한 컴퓨터로 재정의했다는 점에 있다.젠슨 황은 이를 ‘컴퓨팅 단위의 변화’라고 설명한다.과거에는 GPU가 단위였다면, 이제는 전력망에 연결된 AI 팩토리 전체가 하나의 단위가 된다. NVL72는 그 전환이 처음으로 물리적으로 구현된 사례다. 황 CEO는 이 전환을 이렇게 설명했다. "과거 엔비디아에서 컴퓨팅의 단위는 GPU였다. 신제품 발표 시 칩을 들어올리는 것이 일반적인 모습이었다. 그러나 이제 내 정신 모델(Mental Model)은 칩이 아니라, 전력망에 연결된 거대한 기가와트 규모의 AI 팩토리다." 기존의 데이터센터 구조는 독립적인 서버 노드들을 네트워크로 연결하는 방식이었다. 베라 루빈 NVL72는 랙 자체를 처음부터 하나의 거대한 가속기로 설계한다. 내부 배관, 냉각, 케이블, 유지보수까지 통합 최적화한 결과, 유지보수 시간이 블랙웰 대비 최대 18배 단축됐다" 이 랙을 하나로 묶는 핵심 기술이 6세대 NV링크(Link)다. NV링크는 랙 안에 있는 72개의 GPU를 마치 하나의 거대한 프로세서처럼 연결하는 초고속 내부 통신망이다. 일반 컴퓨터 부품들이 도로로 연결된다면, NV링크는 빛의 속도에 가까운 전용 터널을 뚫어준다고 이해하면 된다. GPU당 초당 3.6TB의 대역폭, 72개 GPU 전체를 합치면 총 260TB/s의 대역폭을 갖는 단일 성능 도메인이 만들어진다. 블랙웰 대비 2배 이상의 상호 연결 성능이다.물리적 설계도 주목할 만하다. 랙 전체를 수냉식으로 설계했으며 지능형 전력 평활화 기술을 통해 워크로드의 급격한 변동에도 안정적인 전력 공급을 보장한다. 데이터센터 설치 면적을 75%까지 줄이는 효과도 가져온다. 황 CEO는 "AI 스케일링의 주요 병목 중 하나가 전력이다"고 강조하며, 전력망의 잉여 전력을 활용하는 혁신적 계약 구조를 제안하기도 했다. "전력망은 최악의 상황에 대비해 설계 돼 평소에는 60% 정도만 가동된다. 99%의 시간 동안 잉여 전력이 발생한다. 데이터센터가 사회 인프라에 최대 전력이 필요할 때 소비를 줄이는 계약을 맺으면 이 잉여 전력을 활용할 수 있다"

미국 캘리포니아주 산호세에서 지난 17일 GTC 2026 기자회견장에서 젠슨 황 엔비디아 CEO는 이렇게 말했다. 지난해까지만 해도 그는 기조연설에서나 기자회견장에서나 '칩'을 들어올렸다. 올해는 달랐다. 거대한 칩 세트를 들어 올리면서 기가와트 규모의 거대한 AI 팩토리를 언급했다. 이것이 '베라 루빈(Vera Rubin)'을 이해하는 출발점이다.젠슨 황 CEO는 렉스 프리드만과의 팟캐스트에서 GTC 2026 기조연설에서 강조하고 싶었던 내용을 자세히 설명했다.그는 "과거 컴퓨터는 창고(warehouse)였다. 데이터를 쌓아두는 곳이다. 이제 컴퓨터는 공장(factory)이다. 가치 있는 것을 생산하는 디바이스다"고 말했다. 창고는 수익성이 낮다. 공장은 회사의 수익과 직결된다. 이 비유 하나가 엔비디아가 왜 지금 이 시점에 베라 루빈을 만들었는지를 설명한다.베라 루빈은 올해 3분기부터 파트너사를 통해 본격 공급된다. 이미 앤트로픽, 메타, 밋흐트랄, 오픈AI 등 주요 AI 랩들이 채택 의사를 밝혔다. 그런데 이 플랫폼에 대한 반응은 단순한 신제품 출시 때와 다르다."게임체인저"라는 표현이 넘쳐난다. 왜 그럴까? GPU 칩 하나를 더 빠르게 만든 것이 아니기 때문이다. AI가 실제로 작동하는 방식이 근본적으로 바뀌는 시점에, 그 변화에 맞춰 인프라 전체를 처음부터 다시 설계한 플랫폼이기 때문이다.👉“AI가 AI를 고용한다”… GTC 2026이 보여준 충격적 미래

미국 캘리포니아주 산호세에서 지난 17일 GTC 2026 기자회견장에서 젠슨 황 엔비디아 CEO는 이렇게 말했다. 지난해까지만 해도 그는 기조연설에서나 기자회견장에서나 '칩'을 들어올렸다. 올해는 달랐다. 거대한 칩 세트를 들어 올리면서 기가와트 규모의 거대한 AI 팩토리를 언급했다. 이것이 '베라 루빈(Vera Rubin)'을 이해하는 출발점이다.젠슨 황 CEO는 렉스 프리드만과의 팟캐스트에서 GTC 2026 기조연설에서 강조하고 싶었던 내용을 자세히 설명했다.그는 "과거 컴퓨터는 창고(warehouse)였다. 데이터를 쌓아두는 곳이다. 이제 컴퓨터는 공장(factory)이다. 가치 있는 것을 생산하는 디바이스다"고 말했다. 창고는 수익성이 낮다. 공장은 회사의 수익과 직결된다. 이 비유 하나가 엔비디아가 왜 지금 이 시점에 베라 루빈을 만들었는지를 설명한다.베라 루빈은 올해 3분기부터 파트너사를 통해 본격 공급된다. 이미 앤트로픽, 메타, 밋흐트랄, 오픈AI 등 주요 AI 랩들이 채택 의사를 밝혔다. 그런데 이 플랫폼에 대한 반응은 단순한 신제품 출시 때와 다르다."게임체인저"라는 표현이 넘쳐난다. 왜 그럴까? GPU 칩 하나를 더 빠르게 만든 것이 아니기 때문이다. AI가 실제로 작동하는 방식이 근본적으로 바뀌는 시점에, 그 변화에 맞춰 인프라 전체를 처음부터 다시 설계한 플랫폼이기 때문이다.👉“AI가 AI를 고용한다”… GTC 2026이 보여준 충격적 미래

미국 실리콘밸리 산호세에서 매년 3월 개최되는 엔비디아의 연례 기술 컨퍼런스 GTC는 가장 중요한 AI 행사로 자리 잡았다. AI 모델 학습(trainning)과 추론(inference)에 필수적인 반도체 최신 업데이트가 발표되는 자리이기 때문이다. AI 모델, 애플리케이션, 서비스를 넘어 AI 산업 전반을 아우르는 방향성도 제시된다. 전 세계 190개국에서 3만 명 이상이 모인 올해 컨퍼런스에서 황 CEO는 인간의 개입 없이 업무를 수행할 수 있는 ‘에이전틱 AI(Agentic AI)’와 이를 물리적 환경에서 구현하는 ‘피지컬 AI(Physical AI, 물리적 AI)’ 생태계를 강조했다. 오프라인 현장 4회 참석, 발표를 포함하면 7회째 엔비디아 GTC에 참여한 AI 인프라 전문가 신정규 래블업 대표는 GTC 2026 현장에서 무엇을 발견했을까?신 대표는 이번 기조연설을 “기술 경쟁이 아니라 누가 더 빨리 토큰(token, AI 모델이 처리하거나 생성하는 데이터의 최소 단위)을 만들어 이를 돈으로 바꾸느냐의 싸움”이라고 정의했다. 기하급수적으로 늘어나는 에이전트를 실제 기업 현장에서 적용하기 위해 빠른 속도, 낮은 비용의 중요성이 더 커졌다는 설명이다. 신 대표는 이번 GTC 2026에서 국가 차원의 독자적 AI 환경을 의미하는 ‘소버린 AI(Sovereign AI)’ 구축 전략을 발표했다. 현재 래블업은 AI 모델 개발사 업스테이지와 컨소시엄을 구성, 정부가 추진하는 독자 AI 파운데이션 모델 개발 프로젝트를 진행 중이다. 엔비디아의 위상 변화, 그록(Groq) 칩 통합의 의미, 토큰 경제학의 새 경쟁 축, 그리고 한국의 포지션까지. 기조연설의 행간을 파악할 수 있도록 신 대표와 인터뷰를 진행, 핵심 인사이트를 정리했다.👉“AI가 AI를 고용한다”… GTC 2026이 보여준 충격적 미래

젠슨 황 엔비디아 CEO는 GTC에서는 '록스타' 였다. 미국 캘리포니아주 산호세 SAP센터에서 열린 키노트 연설 무대에서, 산호세 컨벤션센터(SJCC) 전시장에서, 산호세 다운타운 야시장에서, 그가 지나가는 곳마다 환호가 가득했다.젠슨 황 CEO는 지난 16일(현지시각) 엔비디아 GTC 2026 전시장에서 삼성전자 반도체 부스를 직접 찾아 HBM4 코어 다이 웨이퍼에 '놀라운 HBM4', 그록3 LPU 4나노 웨이퍼에는 '그록은 정말 빠르다(GROQ SUPER FAST)'라는 문구를 써넣었다. SK하이닉스 부스에서는 차세대 AI 가속기 '베라 루빈'에 'JENSEN ♡ SK HYNIX'라는 사인을 남겼다.두 메시지를 같은 것으로 읽으면 안 된다. 삼성에 대한 메시지가 "AI 인프라 전체를 함께 만들어줘서 고맙다"에 가깝다면 SK하이닉스에 대한 메시지는 "지금 가장 잘하고 있는 파트너"에 더 가깝고 해석해야하기 때문이다.GTC 2026 키노트와 전시장, 그리고 이어 진행된 기자회견은 현재 '공급부족' 현상으로 인해 주가가 폭등하고 있는 한국 반도체 산업 전체에 더 큰 질문을 던졌다.앞으로의 승부는 더이상 'HBM 하나 잘 만드는 회사'의 경쟁이 아니다. AI 팩토리 시대의 메모리 계층 전체를 누가 설계하고 공급할 수 있느냐의 싸움으로 넘어갔다.

구독자 여러분 안녕하세요, 실리콘밸리와 글로벌 혁신 현장에서 최신 AI 산업 트렌드와 인사이트를 전해드리는 박원익의 AI인사이트입니다. 저는 현재 미국 산호세에서 열리는 엔비디아 GTC 2026 현장에 나와 있습니다. 31도까지 치솟는 초여름 날씨만큼이나 GTC 현장 분위기가 뜨거운데요, 젠슨 황 엔비디아 CEO는 17일(현지시각) 비공개 프레스 컨퍼런스에서 “여러분은 추론 왕(Inference King)을 보고 있다”며 강한 자신감을 드러냈습니다.

"AI는 거품이 아니다. 오히려 아직 시작도 안 됐다"17일(현지시간) 미 캘리포니아주 산호세 GTC 2026 기자회견장에서 젠슨 황 엔비디아 CEO는 두 시간 동안 이어진 회견에서 세 가지를 선언했다. ① AI 수요의 99%는 신규 수요라는 것. ② 컴퓨터는 이제 토큰을 찍어내는 공장이라는 것. 그리고 ③ 한국은 지금 IT 혁명을 넘어 AI 혁명으로 직행할 수 있다는 것. 세 가지 모두 기존의 상식을 뒤집는 발언이다. 그리고 세 가지 모두 그의 직접 발언이다.앞으로 AI 경쟁의 기준이 무엇으로 바뀌었는지, 누가 AI 경제의 수혜자가 되는지, 그리고 한국 기업들이 어디서 기회를 찾아야 하는지를 동시에 가리키고 있다.👉 “AI가 AI를 고용한다”… GTC 2026이 보여준 충격적 미래

AI가 인간을 돕는 시대는 끝나가고 있다. 이제 AI가 서로를 고용하고, 협력하며, 일을 나누는 ‘에이전트 경제(Agent Economy)’가 시작되고 있다.젠슨 황 엔비디아 CEO는 16일(현지시각) 열린 엔비디아 GTC 2026 기조연설에서 AI 산업의 다음 단계로 '에이전틱 스케일링(Agentic Scaling)’이라는 새로운 법칙을 선언했다. 인간과 AI의 협업을 넘어, AI가 다른 AI를 호출하고 작업을 위임하며 스스로 조직을 이루는 시대가 열린다는 것이다.이날 발표는 단순한 신제품 공개가 아니었다. GPU와 LPU를 결합한 새로운 컴퓨팅 아키텍처, 독립 CPU 랙, 에이전트 개발 툴킷, 그리고 로봇·자율주행·우주 데이터센터까지 이어지는 ‘AI 풀스택 인프라’ 전략을 통해, 엔비디아가 멀티 에이전트 경제의 기반을 장악하겠다는 청사진을 드러냈기 때문이다.GTC 2026은 AI 산업이 ‘모델 경쟁’에서 ‘에이전트 경제 경쟁’으로 이동하고 있음을 보여준 결정적 순간이었다. 젠슨 황 CEO가 이날 기조연설에서 공개한 핵심 내용을 5가지로 정리했다. 

지난해 2025년 12월, 전 세계 AI 반도체 업계를 뒤흔든 대형 뉴스가 타전됐다. '엔비디아의 대항마'로 불리며 AI 추론 칩 시장의 게임체인저로 주목받던 스타트업 그록(Groq)이 엔비디아와 손을 잡은 것이다. 거래 규모만 무려 206억 달러, 한화로 약 29조 원에 달하는 천문학적인 액수다. 이는 AI 하드웨어 시장의 판도를 단숨에 재편하는 사건이자, 엔비디아 역사상 가장 큰 규모의 기술 라이선스 계약으로 기록됐다.이번 '세기의 딜' 중심에는 고등학교 중퇴라는 이색적인 이력을 가진 천재 엔지니어, 조나단 로스(Jonathan Ross)가 있다. 그는 구글 재직 시절 'TPU(텐서처리장치)'를 개발해 구글의 컴퓨팅 인프라를 혁신했고, 퇴사 후에는 기존 GPU의 비효율을 지적하며 'LPU(언어처리장치)'라는 새로운 개념을 세상에 내놓았다. AI 칩의 역사를 두 번이나 새로 쓴 그의 행보는 단순한 기술적 성취를 넘어, 혁신이 어떻게 기존의 질서를 파괴하고 재정의하는지를 보여주는 생생한 드라마와도 같다.

AI 반도체 시장의 절대 강자 엔비디아(Nvidia)가 '인수 아닌 인수'라는 카드를 꺼냈습니다. 이번에는 경쟁사이자 차세대 AI 칩 스타트업으로 주목받던 그록(Groq)입니다.겉으로 보면 단순한 기술 라이선스 계약에 불과해 보입니다. 하지만 그 이면을 들여다보면, 엔비디아가 규제 리스크를 피해가며 AI 인프라의 핵심 IP와 인재를 흡수하는 전략이 점점 더 노골화되고 있다는 신호에 가깝습니다. GPU 이후의 시대, 엔비디아는 이제 ‘어떤 칩을 만들 것인가’보다 ‘AI 서버 구조 전체를 어떻게 지배할 것인가’로 전장을 넓히고 있습니다.엔비디아는 24일(현지시간) 200억 달러에 AI 칩을 개발해온 주요 경쟁사 그록으로부터 기술을 라이선스하고, 해당 스타트업의 핵심 리더들을 영입하는 계약을 체결했다고 디인포메이션 등 다수의 매체들이 보도했습니다. 엔비디아는 이번 거래가 완전 인수가 아닌 ‘비독점(non-exclusive) 라이선스 구조’라고 밝혔는데요. 이는 세계에서 가장 가치 있는 기업 중 하나인 엔비디아가 즉각적인 반독점 규제 심사를 피하기 위한 전략적 선택으로 해석됩니다.