GTC2024

뷰스레터 구독자 여러분 안녕하세요, 박원익입니다. 오늘은 미국 캘리포니아주 산호세에서 열린 엔비디아의 연례 기술 콘퍼런스 ‘GTC 2024’ 소식 2탄으로 전해드립니다. 3월 18일부터 나흘간 열린 GTC 2024는 온오프라인으로 약 30만 명이 등록, 역대 최대 규모로 진행됐습니다. 900개 세션, 300여 개 기업이 참여한 전시, 20개 넘는 기술 워크숍과 다양한 네트워킹 이벤트로 현장 열기가 뜨거웠습니다. 개인적으로도 매우 보람 있고 뜻깊었던 일정이었습니다. GTC 2024에 참석한 분들의 생각과 경험을 공유한 ‘K-나이트’ 행사를 개최했고, 젠슨 황 CEO 기자간담회 현장에 참여, 엔비디아의 방향성도 확인할 수 있었습니다. 이번 GTC 2024를 관통한 핵심 화두는 ‘챗GPT 이후 무엇이 등장할까(what’s next)’였습니다. 앞으로 떠오를 생성 AI 기술·산업 트렌드에 따라 삶의 풍경이 빠르게 바뀔 것이기 때문입니다. AI 반도체 등 핵심 산업도 크게 요동칠 수 있습니다.AI 최전선에 있는 과학자, 전문가들의 머릿속엔 무엇이 있을까요?

브래드 라이트캡 오픈AI 최고운영책임자(COO)는 19일(현지시각) 미국 캘리포니아주 산호세 컨벤션 센터에서 열린 엔비디아의 연례 기술 컨퍼런스 GTC 2024 ‘생성 AI의 미래’ 세션에서 “AI 시스템 확장으로 여러 기능이 놀랍게 발전할 것”이라며 이같이 말했다. 생성 AI 기술의 발전 속도, 고객의 반응에 미뤄볼 때 앞으로 더 큰 혁신이 이어질 것이란 관측이다. 오픈AI가 2022년 11월 30일 선보인 AI 챗봇 ‘챗GPT’는 기업 고객용 제품이 아니었으나 많은 기업의 관심으로 2023년 8월 기업 버전(ChatGPT Enterprise)이 출시됐다. 최근에는 더 적극적으로 기업용 제품을 지원하고 있다는 게 라이트캡 COO의 설명이다.그는 “포춘지 선정 500대 기업 중 90% 이상이 챗GPT를 사용하고 있다”며 “실제 고객 대상 설문조사를 통해 기업용 제품이 기업 고객에 매우 적합하다는 것을 확인했다”고 말했다. 라이트캡 COO는 이어 “더 놀라운 건 수직적인 사용 사례(use case) 혹은 애플리케이션을 구축할 필요가 없었다는 점”이라며 “(직무에 관계없이) 챗GPT는 재무팀 직원, HR 담당자 등을 데이터 과학자로 변신시킬 수 있다”고 강조했다. 그는 “오픈AI는 현재 AI 모델에 여전히 존재하는 결함을 해결하는 일, AI 모델이 일을 잘할 수 있도록 맥락(context) 조정하는 일을 하고 있다”며 “AI 모델 성능 개선에 따라 결함은 점차 사라질 것”이라고 했다. JP모건, 드롭박스를 거쳐 와이콤비네이터에서 투자자로 활동했던 브래드 라이트캡은 샘 알트만 오픈AI CEO의 최측근 중 하나로 평가받는다. 블룸버그는 최근 그를 오픈AI의 ‘비밀병기(secret weapon)’라고 묘사하기도 했다. 라이트캡 COO와 마누비르 다스 엔비디아 엔터프라이즈 컴퓨팅 부문 VP의 대담을 통해 오픈AI가 바라보는 생성 AI 산업의 미래, 오픈AI의 미래 전략을 살펴봤다.

“젠슨 황 엔비디아 CEO가 부스를 방문해 고대역폭메모리(HBM)에 ‘젠슨 승인(Jensen approved)’이라고 직접 서명했습니다.”21일(현지시각) 엔비디아의 연례 기술 컨퍼런스 ‘GTC 2024’가 열리는 산호세 컨벤션 센터에서 만난 삼성전자 관계자는 “내부적으로는 긍정적인 시그널로 생각하고 있다”며 이같이 말했다. 직접적인 계약과는 관련 없는 서명이지만, 엔비디아의 CEO가 삼성전자 첨단 메모리 반도체의 기술력을 인정했다는 뜻으로 해석되기 때문이다. 엔비디아는 글로벌 첨단 AI 반도체 시장 점유율 90% 이상을 차지, 사실상 업계를 지배하고 있는 기업이다.

오픈AI의 챗GPT가 발표된 이후 대다수 비즈니스가 일제히 생성AI를 자사의 제품과 서비스에 접목하면서 인공지능(AI) 모델 훈련의 핵심 재료인 엔비디아(NVIDIA)의 그래픽처리장치(GPU) 등 AI 반도체칩 수요가 급증하고 있다. 이에 엔비디아는 반도체 기업 사상 처음으로 시가총액 2조달러를 넘어섰다. 아마존과 구글 모회사 알파벳을 제치고 애플과 마이크로소프트에 이어 세 번째로 큰 회사다. 업계 전문가들은 엔비디아가 AI 기술, 산업 분야에서 독보적인 지위를 갖고 있다고 입을 모은다. 게임용 그래픽칩 제조 업체였던 엔비디아는 어떻게 AI 산업에 없어선 안될 기업이 됐을까? 엔비디아의 시작은 약 14년전 게이머를 위한 그래픽카드였다. 당시 프로세서는 일종의 부업이었다. 이제 이들의 AI 프로세서는 산업 자체를 움직인다.그 비결은 쿠다(CUDA)라는 인프라를 제공한 대신 신기술 흐름이라는 정보를 얻은 데 있다. 엔비디아는 당초 과학자들이 천문학적인 숫자의 과학 연산을 할 수 있도록 자사 병렬프로그래밍 모델 쿠다를 제공했는데, 이때 대부분 과학자들이 엔비디아 GPU를 사용해 연구한 덕분에 엔비디아는 AI 기술의 변화를 가장 빠르게 알 수 있었다.엔비디아는 당초 게이머를 위해 GPU를 설계했으나 매우 많은 픽셀에 단순한 연산을 동시에 대량으로 하는 연산 구조가 인공지능의 대량 정보 학습에 좋은 구조를 가지고 있다는 것을 깨달았다. 당시 주류던 중앙처리장치(CPU)는 메모리로부터 전송받은 데이터를 한 번에 하나씩 처리할 수 있는 구조다. AI와 딥러닝으로 처리해야 할 데이터의 양이 기하급수적으로 늘어나자 CPU 병목현상이 생겼다. 이에 엔비디아가 AI가속기, 즉 AI반도체 수요가 생기자 엔비디아가 그래픽처리장치(GPU)로 파고든 것. 회사는 2016년경부터 게임 그래픽카드 사업에서 인공지능 GPU로 전환했다. 이후 주요 사업을 게임용콘솔, PC, 노트북용 GPU 디자인에서 인공지능 컴퓨팅을 위한 디자인으로 바꿨다. GPU는 한 번에 다량의 데이터를 처리하는 병렬 처리 구조다. 한 번에 많은 양의 데이터를 학습하고 처리해야 하는 AI를 구현하기에 적합하다. 과거에는 그저 단순히 실감나는 게임에 대용량의 그래픽 처리를 수월하게 하기 위한 목적으로 GPU가 사용됐지만 AI가 발전하면서 새로운 사용처를 찾게 된 것이다. GPU는 트랜스포머에 좀 더 최적화되기도 했다. 트랜스포머는 문장 속 단어와 어순 간 관계를 추적해 맥락과 의미를 학습하는 신경 모델로, 오픈AI의 챗GPT의 근간이 된 모델이다. 이 트랜스포머 알고리듬은 대부분 대용량 메모리 및 GPU가 한 패키지(단위)에 들어가는 AI 반도체를 사용한다. 엔비디아의 GPU H100을 8개 붙인 엔터프라이즈용 가속기 DGX H100은 초거대 AI를 뒷받침하는 서버, 데이터센터에 잘 맞는다. 이미 유연성이 있는 GPU에 새로운 알고리듬을 누구보다 먼저 적용, 이를 지원하는 AI 반도체 설계 역시 경쟁사보다 수년 이상 먼저 시작할 수 있었던 셈이다. 회사 초창기였던 2016년 젠슨 황 엔비디아 CEO는 AI 전용 슈퍼컴퓨터 ‘DGX-1’을 오픈AI에 기증, 손수 전달하기도 했다. 당시 오픈AI는 ‘일반인공지능(AGI)’라는 업계에서 인정받지 못하던 목표를 추구하는 회사였다. 챗GPT가 나오기 몇 달 전인 2년 전부터는 벤처투자조직을 만들어 유망한 AI 스타트업들에 본격적으로 투자해 왔다. 그때 투자한 기업들이 유니콘 스타트업인 코히어(Cohere), 허깅페이스(Huging Face), 인플렉션(Inflection) 등이다.인공지능 산업이 획기적인 도약을 보인 시기는 2012년이 꼽힌다. 당시 이미지넷(ImageNet)이 주최한 인공지능 대회에서 알렉스넷(AlexNet)은 사진 인식 성능으로 시장을 놀라게 했고, AI 연구에 불을 붙였다. 알렉스넷은 엔비디아의 그래픽처리장치(GPU) 칩을 이용해 합성곱신경망(Convolutional Neural Network, CNN) 아키텍처로 개발됐다.반면 알렉스넷이 나왔을 당시 새 알고리듬인 CNN이 제공하는 화상 인식 기술에 매료된 다른 기업들은 당시 GPU 같은 범용 AI 반도체보다 전력효율이 뛰어나고, 성능도 뛰어난 CNN 전용 AI 반도체에 뛰어들었다. 대형 클라우드 기업을 비롯해 영국의 그래프코어, 미국 실리콘밸리의 삼바노바 시스템, 세레브라스 등 스타트업들이 수천억원이 넘는 투자를 받고 자체 개발에 나섰다. 그러나 기존 엔비디아를 제외한 AI 반도체들은 전력효율, 가격에 큰 장점이 있는 반면 이런 거대한 알고리듬의 변화에 대응하기에는 유연성이 떨어진 것으로 보인다.

젠슨 황 엔비디아 CEO는 19일(현지시각) 미국 캘리포니아주 산호세 시그니아 호텔에서 열린 엔비디아 연례 컨퍼런스 ‘GTC 2024’ 기자간담회에서 “GPU는 생성 컴퓨터(generative computer)”라며 이같이 말했다. 고성능 AI 칩 ‘H100’, ‘H200’, 이번에 새롭게 발표한 차세대 칩 ‘B100’, ‘B200’ 같은 GPU가 생성 AI 시대를 가능케 하는 핵심 프로세서라는 주장이다. 디지털 정보를 영상 등 시각적 데이터로 처리(픽셀 정보 계산), 게임용으로만 사용됐던 GPU의 의미와 개념을 완전히 새롭게 정의했다.

젠슨 황 엔비디아 최고경영자(CEO)는 19일(현지 시간) 미국 캘리포니아주 산호세 시그니아 호텔에서 열린 엔비디아 연례 컨퍼런스 ‘GTC 2024’ 기자간담회에서 “한국 반도체 기업들의 기술력은 매우 뛰어나다. 엔비디아는 HBM에 엄청나게 많은 돈을 쓰고 있다”며 이같이 말했다. SK하이닉스, 삼성전자가 생산하는 HBM 제품을 높이 치켜세운 것이다. 시장조사업체 트렌드포스에 따르면 SK하이닉스와 삼성전자는 2023년 기준 HBM 시장 점유율 53%, 38%를 차지하며 시장을 주도하고 있다. SK하이닉스는 엔비디아의 고성능 AI 반도체인 ‘H100’에 HBM을 공급, 주목을 받았다.젠슨 황 CEO는 이날 삼성전자의 HBM을 사용하고 있느냐는 질문에 “아직 사용하고 있지 않다”고 답하면서 “현재 테스트(qualifying)하고 있다. 기대가 크다”고 언급했다.그는 이어 “생성 AI 때문에 데이터센터에 더 많은 고성능 메모리가 필요해지고 있다. HBM은 메모리 반도체의 미래”라며 “SK하이닉스와 삼성전자의 제품 업그레이드 주기는 믿을 수 없을 만큼(incredible) 빠르다”고 했다.