메타 라마3는 오픈 소스일까요? 팩트를 체크해 보면 답은 ‘아니오’에 가깝습니다. “공개적으로 설계에 접근할 수 있어 누구나 해당 기술을 수정하고 공유할 수 있다”는 오픈 소스의 정의에 해당하지 않기 때문입니다. 결정적으로 라마3는 소스 코드가 공개돼 있지 않습니다. 소스 코드가 공개돼 있느냐, AI 모델을 훈련한 데이터가 공개돼 있느냐, AI 모델의 특성 및 성능을 결정하는 가중치(weights)가 공개돼 있느냐 등 세부 항목을 따져서 ‘개방성’ 정도를 평가하는 차트가 등장할 정도로 ‘개방성’은 AI 업계의 중요 이슈가 되고 있습니다.
마크 저커버그 메타 CEO는 19일 IT 전문 팟캐스트 채널 ‘드와르케시’에 출연해 “라마3 405B를 현재 훈련하고 있다. 훈련 단계에서 이미 MMLU(대규모 다중작업 언어 이해) 85%를 기록했다”며 이같이 밝혔다. 라마3 405B는 AI 모델의 규모를 비교하는 기준 중 하나인 매개변수(parameters)가 4050억 개인 모델이다. 메타는 전날 차세대 개방형 AI 모델인 라마3 모델 중 매개변수 80억 개(8B) 버전, 700억 개(70B) 버전 두 가지를 먼저 공개했다. AI 업계에서는 “메타 라마가 AI 모델의 판도를 바꾸고 있다”는 평가가 나왔다. 강력한 성능의 개방형 AI 모델인 라마3가 AI 기술 및 산업 트렌드에 어떤 영향을 미치게 될지 3가지 시사점을 중심으로 살펴봤다.
초거대 AI를 움직이는 힘은 어디에서 올까? IBM 왓슨의 역사적인 제퍼디 우승, 이세돌 9단과의 대결에서 승리한 알파고, 오픈AI의 챗GPT까지 모든 AI 혁신은 AI 반도체 칩이 있기에 가능했다. 알파고의 딥러닝 기술을 구현하는 데 1920개의 CPU와 280개의 GPU가 사용됐다. 알파고 출현 이후 7년 뒤 등장한 '챗GPT'에는 1만개가 넘는 엔비디아의 'A100' GPU가 사용됐다. AI칩은 인공지능 시스템의 개발과 배포에 사용되는 특수 컴퓨팅 하드웨어를 말한다. AI 작업을 처리하도록 설계된 특수 집적 회로로 그래픽 처리 장치(GPU), 필드 프로그래머블 게이트 어레이(FPGA), 주문형 반도체(ASIC) 모두 AI 칩이다. 생성AI의 성장세에 힘입어 AI칩 시장도 가파르게 성장하고 있다. 시장 조사 업체 가트너에 따르면 AI 반도체 매출은 예측 기간 동안 두 자릿수 성장을 지속해 2024년에는 25.6% 증가한 671억 달러(약 90조 9070억 원)에 달한다. 오는 2027년에는 AI칩 매출이 2023년 시장 규모의 두 배 이상인 1194억 달러(약 161조 7631억 원)에 달할 전망이다. 가트너의 분석가이자 부사장인 앨런 프리스틀리는 "생성AI의 발전과 데이터 센터, 엣지 인프라 및 엔드포인트 디바이스에서 광범위한 AI 기반 애플리케이션의 사용이 증가함에 따라 고성능 그래픽 처리 장치(GPU)와 최적화된 반도체 디바이스가 필요하다. 이것이 AI칩의 생산과 배포를 주도하고 있다"고 설명했다. 가트너는 "생성AI 대규모 언어 모델 개발이 데이터 센터에서의 고성능 GPU 기반 서버에 대한 수요 증가를 이끌고 있다"고 밝혔다. 또한 2027년까지 AI 기술을 데이터센터 애플리케이션에 통합하면 워크로드 가속기를 포함한 새로운 서버의 20% 이상이 탄생할 것으로 예상했다. 맞춤형 AI칩 시장도 확대될 것으로 보인다. 프리스틀리 부사장은 "많은 조직에서 광범위한 AI 기반 워크로드, 특히 생성 AI 기술을 기반으로 하는 워크로드에 대해 현재 주요 칩 아키텍처인 개별 GPU를 대체할 맞춤형 AI칩의 대규모 배포가 이루어질 것"이라고 밝혔다.
안녕하세요 구독자 여러분, 오픈해 주셔서 감사합니다. 바야흐로 AI 패권 전쟁 시대입니다. 마이크로소프트(MS)와 오픈AI가 1000억달러(약 135조원) 규모의 초대형 슈퍼컴퓨터 및 데이터센터 개발 프로젝트인 '스타게이트'를 추진하고 있다는 소식은 패권 전쟁의 규모를 짐작케 합니다. 135조원이라뇨. 기존 클라우드 기반 데이터 센터 건설 비용의 100배입니다. 샘 알트만은 오픈AI의 새 반도체 프로젝트를 위해 무려 7조달러를 조달하려 한다는 보도가 나오기도 했습니다. MS와 오픈AI는 135조원을 확보, 어디에 쓸까요? 서비스 뿐 아니라 반도체, 데이터, 에너지를 확보하는데 '올인'할 것이며 이 분야에 미래 비즈니스가 있을 것입니다. 이 전쟁의 핵심이 AI 반도체로 흐르고 있습니다. AI가 미래 비즈니스의 근간이 되는 기술이 되면서 생성AI 서비스를 만드는데 필수재인 AI칩 구하기에 혈안이 되고 있습니다. 오픈AI, 마이크로소프트, 구글, 메타, 삼성 등 내로라 하는 개별 기업 뿐만 아닙니다. 미국, 중국, 일본, 유럽연합(EU) 등도 AI 반도체 부품을 만들고 패키징(조립)하는 공장을 짓는 기업에 앞다퉈 보조금을 뿌립니다. 기업전에서 국가대항전으로 번지고 있죠. AI가 기업간 대결이 아닌 국가간 패권 전쟁인 이유입니다. <더밀크 주요 기사>알고리즘, 사랑과 관계를 바꾼다... 앱은 필수, 만남은 선택(영문)Technology Has Turned New York Dating Into 'Perfectionism'아마존의 실패. 무인 매장 핵심 '저스트워크아웃' 포기 왜?테슬라, 인도에 생산 거점 확보...수요와 생산 부진 벗어날 묘수될까?창업가가 미국에 있는 이유: 작은 우연이 큰 결과 만든다AI 칩에 이어 품귀 현상을 보이는 게 또 있습니다. 생성AI 서비스의 기반이 되는 대형언어모델(LLM) 등을 훈련하려면 엔진 격인 AI 가속기와 함께 방대한 양의 훈련 데이터가 필요합니다. 언어모델은 인간의 언어, 행동, 관습 등을 모방하는 구조이기 때문에 많은, 정제된 훈련 데이터를 넣어야 AI가 더 똑똑해질 수 있습니다.
챗GPT 개발사 오픈AI 샘 알트만 CEO가 스타트업 투자를 위해 운영해 오던 '오픈AI 스타트업 펀드(OpenAI Startup Fund)'에서 손을 뗍니다. 1일(현지시각) 미 IT 전문매체 악시오스 등에 따르면 오픈AI는 해당 펀드의 지배구조를 변경했다고 지난달 29일 미 증권거래위원회(SEC)에 신고했는데요. 제출한 신고서에 따르면 오픈AI 스타트업 펀드는 앞으로 파트너인 이안 해서웨이가 통제권을 가지게 될 것으로 보입니다. 해서웨이는 2021년부터 오픈AI 스타트업 펀드의 파트너로 참여하며, 여러 투자를 주도해왔는데요. 이 펀드는 ‘AI 기업이 세상에 긍정적인 영향을 미칠 수 있도록 돕는 것'을 목표로 2021년에 출범했습니다. 특히 의료, 과학, 법률, 교육, 에너지 분야의 초기 단계 스타트업과 특히 소외된 그룹의 창업자를 지원하도록 장려하고 있습니다. 피치북에 따르면 오픈AI 스타트업 펀드는 지난해 1억 7500만 달러를 약정했으며, 17건의 거래에서 최소 13개 기업을 지원했습니다. 알트만은 회사의 스타트업 펀드에 대한 통제권을 포기함으로써 마이크로소프트(MS)의 지원을 받아 AI 스타트업에 투자하는 오픈AI의 벤처 캐피탈 펀드를 개인적으로 소유했던 이례적인 상황을 종결했습니다. 👉 알트만 펀드 활동에서 손 떼며 경영에 집중할 듯 오픈AI 스타트업 펀드는 오픈AI의 기업형 벤처 캐피탈(CVC)이지만, 다른 CVC와 달리 모회사가 아닌 외부 다른 투자자들로부터 자금을 조달하는 다소 특이한 구조로 운영돼 왔는데요. 오픈AI에 따르면 펀드의 초기 구조는 일시적인 계약이었으며 알트먼의 개인적 투자나 금전적 이해관계는 없었다고 합니다. 이 펀드의 투자 결정권도 오픈AI CEO인 올트먼이 갖고 있었는데요. 이 때문에 지난해 11월 발생한 ‘샘 알트먼 축출 사태’ 당시 갈등의 한 원인이 되기도 했습니다. 오픈AI는 비영리 법인이지만, 알트만은 사실상 펀드를 소유하며 수익 창출을 위한 투자를 해왔는데요. 이에 오픈AI 당시 이사회는 "알트먼이 지속적으로 소통에 솔직하지 않아 이사회가 책임을 다하는 데 방해가 된다는 결론을 내렸다"고 그를 해임한 바 있습니다. 스타트업 액셀러레이터인 Y 콤비네이터 대표를 역임했던 알트만은 오픈AI 외부에서 광범위한 투자에 참여하고, 중동에서도 펀딩 활동을 벌인 사실이 드러나 자체 조사를 받기도 했는데요. 오픈AI는 지난해 벌어졌던 알트만 축출 사태 이후 외부 조사를 거쳐 알트만이 제품의 안전이나 오픈AI의 재정 측면에서 아무런 잘못이 없다는 결론을 내렸다고 밝힌 바 있습니다.
아마존이 AI 스타트업 앤트로픽(Anthropic)에 27억5000만달러(약 3조7200억원)를 추가 투자, 총 40억달러(약 5조4000억원)에 달하는 투자를 완료했다. 아마존은 지난해 9월 25일 앤트로픽에 12억5000만달러를 투자하며 향후 최대 40억달러까지 투자할 수 있다고 발표한 바 있다. 아마존은 이번 투자로 앤트로픽 지분 일부를 보유하게 됐다. 다만 이사회에는 참여하지 않는다.아마존은 27일(현지시각) “오늘 27억5000만달러를 추가로 투자, 총 40억달러 투자를 완료했다”고 밝혔다. 아마존에서 AI 비즈니스를 이끄는 스와미 시바수브라마니안 AWS(아마존웹서비스) 데이터 및 AI 부문 부사장은 “AWS는 전 세계 모든 규모의 조직이 고급 생성 AI 애플리케이션을 배포하도록 지원하면서 앤트로픽과 역사를 함께 해왔다”며 “생성 AI에 대한 비전을 가지고 최근 ‘클로드3(Claude 3)’를 출시한 앤트로픽과 트레이니엄(AI 학습용) 칩, 아마존 베드록 같은 동급 최강 인프라를 가진 아마존의 협업으로 흥미로운 기회가 열리고 있다”고 강조했다.