ON-DEVICE AI

안녕하세요, 앞서가는 더밀크 구독자 여러분을 위한 AI 뉴스레터 [박원익의 AI인사이트]입니다. 저는 24일(현지시각) 샌프란시스코에서 열린 생성 AI 개발자 행사에 다녀왔는데요. LLM(대규모 언어 모델) 앱 개발 솔루션 업체 랭체인(LangChain)의 CEO 해리슨 체이스, 데이터스택스(DataStax) CEO 쳇 카푸어, 엔비디아 생성 AI 데이터 부문 시니어 디렉터 제인 스코크로프트 등 산업 최전선에서 활약하는 업계 전문가들이 모이는 자리였습니다.  놀라웠던 건 현장에 수백 명이 몰릴 정도로 생성 AI의 열기가 여전히 뜨거웠다는 점입니다. RAG(검색증강생성) 기술을 활용한 새로운 도구가 발표되자 청중석에서 큰 환호가 터져 나오기도 했습니다. “우리는 아직 생성 AI 혁신의 시작 단계에 있다”라는 게 이 자리에 모인 개발자, 투자자들의 공통된 인식이었습니다. 챗GPT 공개 후 1년 6개월이 흐른 지금까지 실리콘밸리에서 이런 분위기가 이어지는 이유는 무엇일까요? 오늘은 생성 AI 2막에 접어든 현재 업계 지형도가 어떻게 변하고 있는지 보여주는 소식들을 모았습니다. 매주 수요일 발행하는 ‘AI인사이트’를 통해 중요한 신호, 의미를 놓치지 말고 확인하세요!

신정규 래블업(Lablup) 대표는 19일 “2023년 이후 3만 개 이상의 새로운 파인튜닝(Fine-tuning, 미세조정) 모델이 등장했다”며 이같이 말했다. 이날 ‘더웨이브 서울 2024’ 컨퍼런스 연사로 나선 신 대표는 라마의 등장을 ‘베를린 장벽 붕괴’에 비유했다. 소련 중심의 사회주의 몰락의 시작인 베를린 장벽 붕괴가 갑작스레 시작된 것처럼 메타의 라마도 지난 2023년 3월 의도치 않은 유출로 공개되면서 AI 산업 전반에 큰 변화를 일으켰다는 것이다.실제 라마는 메타가 자체 거대언어모델(LLM)인 '라마'를 처음부터 오픈소스로 풀겠다는 의지를 갖고 있던 것은 아니었다. 하지만 구글과 오픈AI 사이에서 생존을 고민하던 메타가 연구목적의 대학과 연구소에 모델을 무료로 공개하면서 퍼지기 시작했으며 깃허브에 소스가 올라가면서 사실상 '오픈소스'가 되버린 것이다. 이후 마크 저커버그 메타 CEO가 공식적으로 라마의 오픈소스를 공식적으로 선언했다. 이후 라마를 미세조정한 모델이 우후죽순 쏟아지며 갑자기 'LLM 르네상스'를 맞이하게 됐다. 신 대표는 이처럼 생성AI 혁명의 시작은 오픈AI가 지난 2021년 11월 챗GPT를 선보이면서 이지만 실제 각 분야로 넓게 퍼지며 촉발된 것은 메타가 라마를 오픈소스로 공개하면서 부터라고 의미부여했다. 이후 라마를 미세조정해 새로운 AI 모델을 개발하는 방식이 확산하면서 AI 모델 개발 비용이 크게 감소했다. 또 개인용 장비·기기에서 AI 모델을 활용하는 ‘온디바이스AI(On-device AI)’가 동시에 부상하게 됐다.  신 대표는 “AI 모델을 기기 자체에서 실행하면 지연 시간이 짧고, 인터넷 없이 사용할 수 있다”며 “사용자 데이터가 외부로 나가지 않는다는 장점도 있다. 프라이버시 보호가 중요한 음성 비서, 헬스케어, 스마트홈 기기 등에서 많이 활용되는 추세”라고 강조했다. 

AI 혁신이 새로운 챕터로 진입하고 있다. 주인공은 온디바이스 AI. 일명 '에지 AI'로도 불린다. 온디바이스 AI(On-device AI)란 지금까지 생성 AI를 구동하기 위해 이용해야 했던 클라우드 기반의 인프라 없이 로컬 디바이스에서 독립적으로 AI 작업을 수행하는 기기를 의미한다. 데이터 프라이버시와 보안성 온디바이스 AI로 인공지능 혁명이 진화하고 있는 이유는 다양하다. 먼저 데이터 프라이버시와 보안이다. 클라우드 기반 AI는 데이터를 서버에 전송하고 처리하는 과정에서 기업이나 개인의 보안과 프라이버시 문제가 발생할 수 있다. 온디바이스 AI는 데이터를 로컬 기기에서 처리함으로써 이런 문제를 미연에 방지할 수 있다. 비용 절감과 에너지 효율성 비용 절감과 전력 효율성 역시 온디바이스 AI로의 전환을 자극하는 요인이다. 클라우드 기반 AI를 이용하는 비용은 지속적으로 증가할 수 있지만 온디바이스 AI의 경우 초기 비용을 제외하면 장기적으로는 더 효율적일 수 있다. 온디바이스 AI는 에너지 효율성 측면에서도 우위를 점한다. 예를 들어 오픈 AI의 챗GPT는 일반적인 구글 검색과 비교해 약 10배의 전력을 소모한다. 클라우드 AI는 대규모 하이퍼컴퓨팅 파워로 작동하는 만큼 에너지 소모가 크지만 온디바이스 AI는 적은 에너지로 작동, 환경 목표에 부합하며 자원 집약적인 냉각 시스템의 필요성을 줄일 수 있다. 프로세서의 성능이 빠르게 발전하고 있다는 점도 AI 작업을 보다 효율적으로 처리할 수 있다는 점에서 온디바이스 AI로의 전환을 가속화하는 요인이다.빠른 처리속도와 네트워크 의존성 감소 온디바이스 AI의 경우 응답 속도가 빠르다는 장점도 배제할 수 없다. 클라우드기반 AI의 경우 네트워크를 통해 데이터를 주고받기 때문에 지연시간이 발생할 수 있다. 반면 온디바이스 AI는 로컬 디바이스 내에서 바로 처리되므로 실시간 응답이 가능하다. 사용자의 네트워크 의존성이 감소하고 사용자 경험이 개선된다는 점도 온디바이스 AI로의 전환을 요구하는 요인이다. 온디바이스 AI는 클라우드와 달리 인터넷 연결 없이도 작동할 수 있다. 이는 인터넷 접속이 불안정하거나 제한적인 환경에서 유용하다. 또한 디바이스가 사용자 행동과 콘텍스트 데이터를 학습해 개인화된 경험을 제공한다는 점에서 사용자 경험 역시 개선될 수 있다.

삼성전자가 통화 중 실시간 통역 기능을 제공하는 최초의 ‘온디바이스 AI(on-device AI)’폰 갤럭시S24 시리즈를 17일(현지시각) 공개했다. 삼성전자는 이날 미국 산호세에 위치한 SAP센터에서 ‘갤럭시 언팩 2024(Galaxy Unpacked 2024)’ 행사를 개최하고 AI 기능을 앞세운 ‘갤럭시S24 시리즈’를 선보였다. 스마트폰에 대규모 언어모델(LLM)이 탑재된 제품은 ‘구글 픽셀8 프로’에 이어 두 번째다. 전 세계 갤럭시 스마트폰 사용자 수를 고려할 때 구글 픽셀8 프로보다 더 큰 파급력을 나타낼 것이란 게 업계 관계자들의 관측이다. 노태문 삼성전자 MX사업부장 사장은 “갤럭시S24 시리즈로 스마트폰 시대를 넘어 새로운 모바일 AI폰의 시대를 열 겠다”며 “갤럭시 AI는 사용자가 세상을 경험하는 방식을 바꾸고 무한한 잠재력을 발휘할 수 있도록 뒷받침할 것”이라고 했다.

한종희 삼성전자 대표이사 부회장은 9일(현지시각) 미국 라스베이거스 CES 2024 현장에서 기자간담회를 열고 “매일 사용하는 핵심 기능을 중심으로 생성형 AI를 적용하기 시작, 새로운 디바이스 경험으로 혁신할 계획”이라고 밝혔다.한 부회장은 “스마트폰, TV·가전, 자동차까지 연결된 사용자 경험은 보다 정교하게 개인화된 서비스로 발전하고 있다”며 “여기에 AI가 접목돼 기기 간 연결 경험을 넘어 고객을 가장 잘 이해하는 차원이 다른 경험을 제공하게 될 것”이라고 강조했다.

제프 피셔 엔비디아 지포스(GeForce) 부문 부사장(SVP)은 8일(현지시각) “우리는 이미 하이브리드 AI가 작동하는 것을 보고 있다”며 이같이 말했다. 클라우드에서 엔비디아 GPU(그래픽처리장치)를 사용해 대규모 언어 모델(LLM)을 실행하는 한편, 개인용 컴퓨터에서는 ‘RTX(엔비디아 그래픽 카드 브랜드명)’ 텐서 코어를 활용, 지연 시간에 민감한 앱(application), 서비스를 실행할 수 있다는 것이다.

“지금 라스베이거스 대단히 춥습니다. 바람이 6~7 m/s 정도로 불어서 체감온도가 훨씬 낮습니다. 8~9일 아침 0도, 낮엔 10도 정도로 예보되고 있으니 따뜻하게 준비해 오세요.”뷰스레터 구독자 여러분, 안녕하세요. 더밀크 박원익입니다. 오늘은 세계 최대 IT 전시회 CES가 열리는 라스베이거스 현장 소식으로 레터를 열었습니다. 쌀쌀한 날씨 정보는 라스베이거스에 일찍 도착하신 이용덕 드림앤퓨처랩스 대표님이 전해주셨는데요, 실제로 현지 로컬 미디어들도 일제히 “레드록 캐년에 눈이 쌓였다”는 뉴스를 보도하고 있습니다. 하지만 쌀쌀한 날씨와 달리 전시가 열리는 라스베이거스 컨벤션 센터(LVCC), 대형 호텔이 늘어선 라스베이거스 스트립 주변은 열기가 고조되는 분위기입니다. 특히 4일 앞으로 다가온 CES 참가하기 위해 일찍 이동한 기업 관계자들은 전시 부스 준비에 한창입니다. 센트럴홀 내부에는 이미 LG, 딜로이트의 대형 광고 현수막이 걸렸고, 각 기업들의 전시 물품이 담긴 나무 박스를 분주히 옮기는 움직임, 이미 전시관으로 옮겨져 검은 비닐로 가려져 있는 다양한 제품 실루엣도 포착되고 있습니다.

미국 라스베이거스에서 열리는 세계 최대 IT 전시회 ‘CES2024’가 5일 앞으로 다가오면서 이번 CES에서 글로벌 기업들이 발표할 비전, 신제품 등에 관심이 쏠리고 있다. 특히 공식 개막 하루 전인 1월 8일(현지시각) 취재진을 대상으로 진행되는 ‘미디어 데이(Media Days)’ 2일 차 프레스 컨퍼런스에 대한 기대감이 커지는 분위기다. 2023년 11월 30일 CES 주최 단체인 CTA가 공식 발표한 11개 업체(보쉬, 두산, 현대, 하이센스, 기아, LG전자, 파나소닉, 삼성, 소니, TCL, 발레오. 알파벳순)에 애보트, SK, 폭스바겐 3개 업체가 추가돼 총 14개 업체가 프레스 컨퍼런스를 진행하고, 이와 별개로 반도체 업체 엔비디아도 이날 온라인으로 ‘스페셜 발표(special address)‘를 진행하겠다고 밝힌 상태다. 공식 프레스 컨퍼런스와 함께 자율주행차 레이싱 대회 ‘인디 오토노머스 챌린지’ 주관사 등 9개 기업·단체가 진행하는 ‘파워 세션’도 이날 열린다. 더밀크는 현재까지 공개된 내용을 토대로 주목할 만한 프레스 컨퍼런스 톱7을 정리했다.

반도체 강자 인텔이 생성형 AI 전문 기업 ‘아티큘8(Articul8 AI, Inc)’을 설립했다. 인텔 칩 기반으로 생성형 AI 기능을 개발하거나 안전하게 사용할 수 있도록 돕는다는 계획이다. 기업의 생성형 AI 기술 도입 확산, 스마트폰과 자동차에 생성형 AI 모델을 탑재하는 ‘온디바이스 AI’ 트렌드를 최대한 활용하려는 의도로 풀이된다. 

2023년은 글로벌 기술, 산업, 경제 전반에서 역사에 기록될 만한 굵직한 사건들이 벌어졌던 한 해다. AI 기술업체 오픈AI는 지난 3월 선보인 대규모 언어모델(LLM) ‘GPT-4’로 전 세계에 놀라움을 선사했다. 미국 중앙은행 격인 연방준비제도(Fed·연준)의 금리 결정도 충격적이었다. 7월 기준금리를 22년 만에 최고 수준인 5.25-5.5%로 인상, 연말까지 유지하며 저금리 시대의 종언을 고했다.11월 말 ‘투자의 귀재’ 워런 버핏의 단짝이자 사업 파트너인 찰리 멍거(Charlie Munger) 버크셔해서웨이 부회장이 향년 99세로 별세했고, 암호화폐 거래소 FTX 붕괴 후 급락했던 비트코인 가격은 연초 대비 165% 이상 오르며 12월에 4만달러를 넘어섰다. 2023년 1년 동안 더밀크가 보도했던 기술·산업·경제 분야 주요 사건, 핵심 이슈를 통해 흑토끼의 해 ‘계묘년(癸卯年)’을 정리해 봤다.