추론 시간 계산

젠슨 황 엔비디아 CEO는 18일(현지시각) 엔비디아 연례 컨퍼런스 GTC 2025 기조연설에서 “훨씬 빠른, 강력한 계산 능력이 필요해지고 있다”며 이같이 말했다. AI 모델을 개발에 필요한 훈련(Training)에서 AI 모델 활용 영역인 추론으로 산업의 무게 중심이 이동함에 따라 더 강력한 AI 반도체가 필요하다는 점을 강조한 것이다. 이는 오픈AI가 o1 모델 출시 이후 부상한 ‘추론 시간 계산(Inference-time compute or test-time compute)’ 확장 흐름과 궤를 같이한다. 더 많은 추론 시간, 즉 컴퓨팅 파워를 사용해 AI 성능을 개선하는 방식이 새로운 ‘확장 법칙(scaling law)’으로 자리잡고 있는 것이다. AI 컴퓨팅 수요 급증은 엔비디아의 고성능 칩 성장세를 유지하는 배경 중 하나다. 엔비디아에 따르면 AWS, 마이크로소프트, 구글 등 상위 네 개 클라우드 서비스 업체가 구매한 엔비디아 GPU(호퍼 아키텍처, H100 등)가 2024년 130만 개에서 2025년 현재 360만 개(블랙웰 아키텍처, 칩당 2개 GPU로 계산)로 3배가량 늘었다. 황 CEO는 이를 “1조 달러 규모의 컴퓨팅 변곡점”이라고 표현했다.