마크 저커버그 메타 CEO는 19일 IT 전문 팟캐스트 채널 ‘드와르케시’에 출연해 “라마3 405B를 현재 훈련하고 있다. 훈련 단계에서 이미 MMLU(대규모 다중작업 언어 이해) 85%를 기록했다”며 이같이 밝혔다. 라마3 405B는 AI 모델의 규모를 비교하는 기준 중 하나인 매개변수(parameters)가 4050억 개인 모델이다. 메타는 전날 차세대 개방형 AI 모델인 라마3 모델 중 매개변수 80억 개(8B) 버전, 700억 개(70B) 버전 두 가지를 먼저 공개했다. AI 업계에서는 “메타 라마가 AI 모델의 판도를 바꾸고 있다”는 평가가 나왔다. 강력한 성능의 개방형 AI 모델인 라마3가 AI 기술 및 산업 트렌드에 어떤 영향을 미치게 될지 3가지 시사점을 중심으로 살펴봤다.
오픈AI가 일본 도쿄에 지사를 설립하고 아시아 사업을 확장하겠다고 공식 블로그를 통해 알렸습니다. 지난 15일에는 일본 도쿄에서 브래드 라이트캡 오픈AI COO 및 나카사키 타다오 일본 법인 대표 등이 참석한 가운데 오픈AI 일본 지사 개소식을 가졌습니다. 오픈AI는 영국에 런던 지사와 아일랜드 더블린에 EU 지사를 설립했고, 올해 첫 아시아 지역 거점으로 일본 도쿄를 선택했습니다. 오픈AI는 "일본 정부, 현지 기업, 연구 기관과 협력해 일본의 고유한 요구에 부응하는 안전한 AI 도구를 개발하고 새로운 기회를 창출할 것"이라고 밝혔습니다. 일본을 첫 아시아 진출지로 선택한 이유로는 "일본은 중요한 시장"이라며 "도쿄는 기술 분야의 글로벌 리더십, 서비스 문화, 혁신을 포용하는 커뮤니티를 갖춘 장소라 첫 번째 아시아 지사로 선정했다"고 설명했습니다. 오픈AI 일본 지사 총괄인 타다오 나가사키는 AWS 일본 지사 사장 출신으로 12년 넘게 AWS 일본에 근무했으며, 그전에는 F5 네트웍스 일본 지사의 사장직을 역임한 바 있습니다. 오픈AI는 연내 직원을 10명 가까이 늘릴 예정이며, 지사 설립 이후 도요타 커넥티드, 라쿠텐, 다이킨과 같은 기업용 챗GPT를 이용하는 일본 기업을 적극 지원하겠다고 밝혔습니다. 라이트캡 COO는 이날 개고식에서 "챗GPT 기업용 서비스 이용 업체가 세계적으로 이미 수천 곳에 이르며 사용자는 60만명을 넘는다"며 "반도체 조달 문제와 관련해 일본과 폭넓게 협력할 기회가 있기를 기대한다"고 강조했습니다.
'라 프렌치 테크(La French Tech)'라는 말 들어보셨나요? 조금 낯설게 들리는 분들도 벼슬을 곧게 세운 '붉은 수탉'은 한번쯤 보신적 있으실 텐데요. 라 프렌치 테크는 지금의 프랑스를 있게 한 정부 주도 스타트업 정책, 생태계, 투자자 모두를 통칭하는 말입니다. 이제는 붉은 수탉과 함께 각인된 글로벌 브랜드로 스타트업 불모지였던 프랑스를 세계적으로 주목 받는 스타트업 생태계로 끌어올린 주역입니다. 매년 미 라스베이거스에서 열리는 CES에서도 '라 프렌치 테크'는 유레카파크의 주인공 역할을 하고 있죠. 프랑스는 예술과 문화의 중심지이며, 많은 노벨상 수상자를 배출한 과학기술 강국입니다. 스타트업 생태계 조성에 좋은 조건을 갖추고 있었습니다. 또 에꼴 폴리테크니크와 같은 세계적 수준의 대학교에서 우수한 엔지니어들과 석학들을 배출하고 있었는데요. 그럼에도 글로벌 스타트업 혁신 생태계를 구축한 미국, 영국에 비해 주목받지 못했습니다. 10년전, 현 마크롱 대통령과 중소기업 혁신 및 디지털 경제부 장관이었던 플뢰르 펠르랭을 중심으로 프랑스 정부는 두팔을 걷고 나섭니다. 정부가 지원하지만 지배하지 않고 스타트업 산업과 핵심 플레이어를 위한 우산 역할이 되어주는 디지털 경제 성장 전략인 라 프렌치 테크가 시작됩니다. 지금 프랑스는 유럽 최고의 기술 허브 중 하나이자, 유럽의 주요 스타트업 생태계 중 유일하게 매년 더 많은 투자금을 모으고 있는 나라가 됐습니다. 특히 '유럽의 실리콘밸리'라 불리는 파리의 스타트업들은 프랑스의 중요한 경제 성장 동력으로 자리매김했는데요. 올 7월 열리는 '파리 올림픽'이 정점이 될 것으로 보입니다. 이런 변화는 프랑스 젊은이들의 창업에 대한 열망으로 이어졌습니다. 18세부터 29세까지 프랑스 젊은층을 대상으로 한 조사에 따르면 60% 정도가 창업을 하고 싶다는 결과가 나오기도 했습니다. 프랑스는 특히 AI 거인이 되겠다는 야심찬 로드맵을 가지고 있는데요. 프랑스는 미래의 AI 리더를 양성하는데 적합한 교육 생태계를 갖추고 있습니다. 이미 AI 업계에는 프랑스 출신의 구루들이 많은데요. 메타AI를 이끌고 있는 2019 튜링상 수상자 얀 르 쿤, 애플 시리의 창립자 중 한 명인 루크 줄리아 등이 있습니다. 수년간 씨앗을 뿌리고 정성스레 가꾼 프랑스의 노력이 이제 결실을 맺고 있는 것 같은데요. 최근 ‘프랑스의 기회’가 될지도 모를 엄청난 생성AI 스타트업이 등장했습니다. 바로 유럽판 오픈AI라 불리는 미스트랄AI입니다. 프랑스 인재들이 설립한 기업으로 미국 빅테크 기업들에 뒤지지 않는 기술력을 갖춰 많은 주목을 받고 있습니다.AI를 둘러싸고 전 세계에서 각축전이 벌어진 지금, 프랑스는 글로벌 AI 강국으로 도약하려 합니다. 한국에도 큰 시사점을 주고 있습니다. <CEO 포커스> 20호에서는 1️⃣ 거대 언어 모델의 진화... 단계별 선택 전략2️⃣ 유럽의 샘 알트만, 아서 멘쉬 미스트랄AI CEO3️⃣ 설립 반년 만에 유니콘, 프랑스 AI의 자존심 미스트랄AI를 소개합니다.
올해 31세인 미스트랄AI 공동 창업자 아서 멘쉬(Arthur Mensch) CEO가 파리의 기술 허브에 연설을 하기 위해 올랐을 때 영국의 투자자 매트 클리퍼드는 "당신은 프랑스 AI의 포스터 차일드(Poster Child, 상징성을 가진 인물)가 됐다"고 말했다. 지난해 봄, 아서 멘쉬 CEO는 구글에서 일하는 연구원이었고 생성AI는 이제 막 세상에 존재감을 드러내고 있었다. 1년 후인 2024년 생성AI는 IT 업계에서 '가장 혁신적인 기술'이란 평가를 받고 있으며 미스트랄AI는 기업가치 2조9000억원에 달하는 유니콘이 됐다. 2023년 5월 탄생한 미스트랄AI는 메타, 구글 출신 엔지니어들이 프랑스에 설립한 스타트업이다. 10개월 만에 약 5억 유로(약 7000억 원)의 투자금을 모았고, 최근 마이크로소프트(MS)와도 파트너십을 체결하며 주목받고 있다. 프랑스의 간판 스타트업이 된 미스트랄AI는 최근 강력한 오픈 소스 대형 언어 모델(LLM) '믹스트랄 8x22B(Mixtral 8x22B)'를 공개했다. 메타의 '라마 2'와 오픈AI의 'GPT-3.5' 수준의 성능을 가졌다는 바로 전 모델 '믹스트랄 8x7B'을 능가한다는 평가를 받고 있다. 이번 출시는 경쟁 업체들이 최신 모델을 공개한 바로 다음날 이뤄졌다. 오픈AI는 비전 기능을 탑재한 'GPT-4 터보 비전(GPT-4 Turbo Vision)'을 공개했고, 구글은 '제미나이 1.5 프로' 출시를 알렸다. 해당 모델을 공개하며 미스트랄AI는 메타, 오픈AI 등과 본격적인 경쟁에 나섰다. 미스트랄AI의 뒤엔 프랑스의 에마뉘엘 마크롱 대통령이 '천재'라 추켜세우는 아서 멘쉬 CEO가 있다. AI업계에 '프랑스'를 제대로 각인시킨 아서 멘쉬 CEO에 대해 알아보자.
대규모 언어모델(LLM)은 역사의 산물이다. 오픈AI의 챗GPT 발표는 AI의 언어 추론 능력과 생성 능력이 인간 수준으로 진화했음을 보여주며 주요 기술로 빠르게 정착했다. 지난 2022년 11월 공개된 오픈AI의 챗GPT는 2024년 현재 월별 방문자 16억, 고정사용자가 1억8000명에 이른다. 전세계 인구의 3분의 1 이상이 사용하는 기술로 정착했다. 제한된 정보를 바탕으로 내용을 유추하는 추론과 인간과 유사한 수준의 매끄러운 문장 생성 능력이 서비스의 대중화를 이끈 주된 요인으로 평가 받는다. 발전 속도는 매우 빠르다. GPT4가 나온지 1년 됐지만 그 사이 구글 제미나이, 클로드 등의 경쟁 모델이 나왔고 메타는 오픈소스 LLM '라마'로 빠르게 시장을 장악하고 있다. 초기 언어 모델의 문제는 주어진 데이터 입력(input)으로 문맥의 의미를 이해할 수 없다는 점이었다. 언어 이해의 핵심은 현재 데이터 입력이 이미 학습된 사회적 의미 및 주어진 전체 데 이터의 선후 관계에 기반한 문맥적 정의를 이해하는 데 있다. 이를 해결한 것이 구글의 트랜스포머 아키텍처다. 하지만 2024년 4월을 넘어서며 LLM 기반의 모델은 기존 자연어 처리에서 멀티모달 모델(Multimodal, 다중모드)로 진화하고, 텍스트를 넘어 오디오, 비디오 등으로 확장되고 있다. 기업들은 훈련 방식에 있어 모델 개발의 차별화, 실제 최적화된 이용 사례에 맞는 모델 선택을 요구 받는다. 특히 각 기업은 한번 생성AI를 도입하면 돌이킬 수 없다는 '불가역적' 선택이라는 점에서 무엇을 어떻게 도입해야 할지 고민이 깊어진다.
설립 반년 만에 유니콘에 등극한 스타트업이 있다. AI 혁명 붐을 타고 프랑스의 간판 스타트업으로 떠오른 미스트랄AI(Mistral AI)다. 미스트랄AI는 설립 10개월 만에 21억 달러(약 2조 9051억 원)의 기업가치로 5억 유로(약 7000억 원) 투자 유치에 성공, 큰 주목을 받았다.16일(현지시각) 디인포메이션에 따르면 미스트랄AI는 회사 가치를 50억 달러(6조 9270억원)로 측정하고 수억달러 규모의 신규 투자에 나섰다. 구글, 오픈AI 등 AI 분야 선두주자들과 경쟁하기 위해 대규모 자금이 추가적으로 필요한 탓이다. 50억 달러 기업가치는 적은 매출로 빠르게 주가를 끌어올리던 다른 AI 스타트업들 사이에서도 눈에 띄는 수치다. 미스트랄AI는 최근 수익 창출을 시작했다. 애플리케이션 프로그래밍 인터페이스를 사용해 LLM에 액세스하는 고객에게 요금을 부과한다. 대부분 무료로 제공되는 이 모델은 애플리케이션 개발자들 사이에서 인기가 급증하고 있다. 미스트랄AI는 개방적인 LLM(대규모 언어 모델) 모델을 만드는 데 집중, 차별화에 성공했다. 지난해에는 70억 개의 매개변수를 가진 LLM '미스트랄 7B'를 오픈소스로 공개, 존재감을 알렸다. 2월에는 사용량에 따라 비용을 지불해야하는 기업용 모델인 '미스트랄 라지'도 공개했다. 프랑스의 브루노 르 메이어 재무장관 재무장관이 미스트랄AI를 두고 "빅테크와 경쟁할 수 있는 프랑스의 기회다"고 할 정도로 프랑스 국내에서도 이들의 성장을 응원하고 큰 관심을 보이고 있다.
바야흐로 인공지능(AI) 인프라를 향한 군비 경쟁 시대다. 대형언어모델(LLM)을 훈련하는데 필수재인 AI 칩 전쟁이 국가전으로 확대되는가 하면 한편에서는 데이터 확보 전쟁이 치열하다. 언어모델은 인간의 언어, 행동, 관습 등을 모방하는 게 기본 골자다. 그 때문에 연구자료, 기사, 위키피디아 등 인터넷에서 생성된 텍스트를 최대한 많이 넣어(인풋) 훈련해야 최고의 결과물(아웃풋)을 얻을 수 있다. 그러나 AI칩처럼 AI 모델 고도화에 필요한 고품질 데이터에도 품귀 현상이 벌어지고 있다. 절대적인 양이 부족한 데다 저작권 문제 등으로 데이터 확보가 더 어려워진 것. 이에 마이크로소프트, 오픈AI, 구글 등 기업은 데이터 원천소스를 늘리는 한편, 인공으로 데이터를 만드는 ‘합성데이터(synthetic data)’에 주목하고 있다.
브래드 라이트캡 오픈AI 최고운영책임자(COO)는 19일(현지시각) 미국 캘리포니아주 산호세 컨벤션 센터에서 열린 엔비디아의 연례 기술 컨퍼런스 GTC 2024 ‘생성 AI의 미래’ 세션에서 “AI 시스템 확장으로 여러 기능이 놀랍게 발전할 것”이라며 이같이 말했다. 생성 AI 기술의 발전 속도, 고객의 반응에 미뤄볼 때 앞으로 더 큰 혁신이 이어질 것이란 관측이다. 오픈AI가 2022년 11월 30일 선보인 AI 챗봇 ‘챗GPT’는 기업 고객용 제품이 아니었으나 많은 기업의 관심으로 2023년 8월 기업 버전(ChatGPT Enterprise)이 출시됐다. 최근에는 더 적극적으로 기업용 제품을 지원하고 있다는 게 라이트캡 COO의 설명이다.그는 “포춘지 선정 500대 기업 중 90% 이상이 챗GPT를 사용하고 있다”며 “실제 고객 대상 설문조사를 통해 기업용 제품이 기업 고객에 매우 적합하다는 것을 확인했다”고 말했다. 라이트캡 COO는 이어 “더 놀라운 건 수직적인 사용 사례(use case) 혹은 애플리케이션을 구축할 필요가 없었다는 점”이라며 “(직무에 관계없이) 챗GPT는 재무팀 직원, HR 담당자 등을 데이터 과학자로 변신시킬 수 있다”고 강조했다. 그는 “오픈AI는 현재 AI 모델에 여전히 존재하는 결함을 해결하는 일, AI 모델이 일을 잘할 수 있도록 맥락(context) 조정하는 일을 하고 있다”며 “AI 모델 성능 개선에 따라 결함은 점차 사라질 것”이라고 했다. JP모건, 드롭박스를 거쳐 와이콤비네이터에서 투자자로 활동했던 브래드 라이트캡은 샘 알트만 오픈AI CEO의 최측근 중 하나로 평가받는다. 블룸버그는 최근 그를 오픈AI의 ‘비밀병기(secret weapon)’라고 묘사하기도 했다. 라이트캡 COO와 마누비르 다스 엔비디아 엔터프라이즈 컴퓨팅 부문 VP의 대담을 통해 오픈AI가 바라보는 생성 AI 산업의 미래, 오픈AI의 미래 전략을 살펴봤다.
“젠슨 황 엔비디아 CEO가 부스를 방문해 고대역폭메모리(HBM)에 ‘젠슨 승인(Jensen approved)’이라고 직접 서명했습니다.”21일(현지시각) 엔비디아의 연례 기술 컨퍼런스 ‘GTC 2024’가 열리는 산호세 컨벤션 센터에서 만난 삼성전자 관계자는 “내부적으로는 긍정적인 시그널로 생각하고 있다”며 이같이 말했다. 직접적인 계약과는 관련 없는 서명이지만, 엔비디아의 CEO가 삼성전자 첨단 메모리 반도체의 기술력을 인정했다는 뜻으로 해석되기 때문이다. 엔비디아는 글로벌 첨단 AI 반도체 시장 점유율 90% 이상을 차지, 사실상 업계를 지배하고 있는 기업이다.
