MULTIMODAL

“아이슬란드엔 검은 모래 해변이 있다는데 진짜예요?” “네 색도 까만데, 질감이 엄청 거칠어요. 이걸로 한 번 만져보세요”생성AI 사업을 추진하는 미국 빅테크들의 주력 상품은 AI에이전트입니다. 이 AI에이전트는 올해 멀티모달 기술이 본격 적용되면서 이용자의 요청을 듣거나, 이용자가 제공한 사진, 영상을 보는 등 상호작용 기능이 강화되고 있는 중이죠. 이 AI에이전트가 이제 만지고 느낄 수 있는 촉감으로 향하고 있습니다. 메타는 31일(현지시각) 촉각 센서 회사인 겔사이트(GelSight)와 국내 로봇 회사인 원익로보틱스와 제휴해 인공지능(AI)을 위한 촉각 센서를 상용화할 계획이라고 발표했습니다. 젤사이트와는 인간 수준의 촉각을 가진 멀티모달 감지 기능의 ‘디짓 360(Digit 360)’을 출시할 예정입니다. 디짓 360은 메타의 기존 촉각 센서 ‘디짓’의 후속 모델로 18개 이상의 감지 기능을 가지고 있죠. 디짓 360은 진동을 감지하고 열을 감지하며 냄새까지 맡을 수 있는 다양한 감지 기능을 갖추고 있습니다. 메타는 디짓 360이 손끝 표면의 전방위 변형을 포착할 수 있도록 넓은 시야를 가진 촉각 인식 전용 광학 시스템을 개발했다고 전했죠. 디짓 360은 내년에 구매할 수 있으며, 메타는 연구자들이 조기 접근 권한을 얻을 수 있도록 제안서 제출 요청 프로그램을 시작했습니다. 👉 촉각센서-로봇 손-연결 플랫폼…생태계 구축메타는 3단계 시스템을 구축하고 있습니다. 촉각센서 디짓 360과 함께 단일 로봇 손에 촉각 센서를 통합하는 하드웨어-소프트웨어 솔루션을 제공하는 플랫폼 ‘메타디짓프레서스’를 개발하고 있습니다.여기에 더해 원익로보틱스와는 디짓360과 같은 촉각센서가 포함된 로봇 손 ‘알레그로 핸드(Allegro Hand)’를 개발합니다. 알레그로 핸드는 16개의 독립적인 토크 제어 관절을 갖춘 저비용, 고적응성의 로봇 손입니다. 네 개의 손가락을 갖춰 높은 자유도 및 실시간 컨트롤, 온라인 시뮬레이션 기능을 강점으로 내세우고 있죠. 원익로보틱스는 이미 페이스북과 구글, 스탠퍼드대학교, 메사추세츠 공과대학교(MIT) 등 연구 기관에서 이 제품을 로봇 연구에 활용하고 있다고 밝힌 바 있습니다. 알레그로 핸드는 내년에 출시될 예정입니다. 알레그로 핸드에는 메타 디짓360 센서와 디짓 프레서스 플랫폼을 기반으로 촉각 센서 데이터를 통합적으로 관리하는 제어 기능을 제공할 예정입니다. 게시물에서 메타는 AI에이전트를 넘어 고급머신인텔리전스(AMI)를 목표로 천명했습니다.

페이페이 리 스탠퍼드대 교수 겸 월드랩스 CEO는 “시각적 공간 지능(Visual spatial intelligence)은 언어만큼이나 근본적(fundamental)”이라며 이같이 말했다. 5억4200만 년 전 고생대 캄브리아기가 시작되며 다양한 생물이 폭발적으로 늘어난 것처럼 ‘공간 지능’ 기반의 폭발적 혁신, 기회가 창출될 것이란 주장이다. 리 CEO는 19일(현지시각) 공개된 실리콘밸리 VC a16z와의 대담에서 자신이 창업한 AI 스타트업 ‘월드랩스(World Labs)’와 월드랩스가 추구하는 공간 지능의 의미 및 잠재력에 관해 설파했다.  인간의 지능에는 여러 측면이 있는데, 그중 하나가 언어 지능이며 언어 지능만큼 근본적인 게 공간 지능이라는 주장이다. 공간 지능은 시각 정보를 인식, 처리하는 능력과 밀접하게 연결돼 있다. 공간 지능을 통해 인간은 주변 세계를 이해하고, 직관적으로 상호작용을 할 수 있다. 리 CEO는 “더 많은 가능성, 미지의 세계를 열어준다는 게 좋은 기술의 마법”이라며 “우리는 앞으로 나아갈 것이다. 가능성은 더욱 확대될 것으로 본다”고 했다. 창작, 디자인, 학습, AR/VR, 로봇 공학 등에 공간 지능이 활용될 수 있다는 설명이다. 월드랩스는 이를 위해 ‘대규모 월드 모델(LWM)’을 개발하고 있다고 밝혔다.  리 CEO의 대담한 비전에 a16z, NEA 등 실리콘밸리 톱 VC(벤처캐피털)들은 2억3000만달러(약 3000억원)를 초기 투자로 쏟아부었다. 2006년 이미지넷 프로젝트를 시작, 딥러닝 분야에서 큰 업적을 남긴 ‘AI 대모(Godmother)’와 월드랩스 공동창업자들이 공간 지능을 강조한 이유는 무엇일까? 

“로봇, 뭘 좀 그릴 수 있는 곳으로 안내해 줄래?”“알겠어요. 제미나이(Gemini)로 생각 중입니다. 잠시 시간을 주세요. (몇 초 후) 저를 따라오세요.”11일(현지시각) 구글 딥마인드가 공개한 로봇 시연 영상에 등장하는 장면이다. 집사처럼 노란색 나비넥타이를 단 이 로봇은 바퀴를 스르륵 움직여 건물 내부를 이리저리 이동하더니 벽 한쪽을 차지한 대형 화이트보드 앞에 멈춰 섰다. “축하합니다. 목적을 달성했어요. 화이트보드에 그림을 그릴 수 있습니다.”  기존 안내 로봇과 구글이 공개한 로봇의 차이점은 뭘까? 얼핏 간단해 보이는 안내이지만, 작동 구조를 하나하나 뜯어보면 절대 그렇지 않다.  

생성인공지능(Generative AI)이 콘텐츠 산업을 뒤흔들고 있다. 2022년 11월 오픈AI의 챗GPT가 등장한 이후 누구나 간단한 묘사 문구만으로 쉽게 글, 이미지, 목소리, 노래, 영상 등을 제작하게 되면서다.생성AI 기술과 각종 관련 서비스는 기존 인간이 수공업으로 제작하던 과정을 단숨에 건너뛰게 할 수 있게 했다. 이는 제작 방식을 넘어 제작되는 콘텐츠 형식, 산업까지 재편하고 있다.

AI assistants are redefining our professional landscape. "We’re going multimodal, and we’re going to do more," says Smita Hashim, CPO of Zoom. In an era of hybrid working, distributed talent, and the push for greater gender diversity in tech, Hashim shares her vision for the future.Imagine being on a beach vacation when an urgent video conference call comes through, or accidentally overlapping your child's school event with a company meeting. With a "smart assistant" joining meetings on your behalf, answering questions, and providing immediate summaries, such scenarios are effortlessly managed. This isn’t a luxury for CEOs of large companies, but a reality for everyone, thanks to AI assistants powered by generative AI technology. This is the future of work envisioned by Zoom, the leading video conferencing platform.

‘여름휴가를 맞아 해변에 있는데, 고객사가 급한 화상 회의를 요청한다면? 착오로 아이 학교 설명회와 회사 온라인 미팅 시간이 겹쳤다면?나를 잘 아는 ‘똑똑한 비서’가 대신 회의에 참석하면 고민이 해결된다. 이 비서는 알아서 고객사의 질문에 적절히 대답하고, 회의 직후 주요 내용을 요약해 나에게 전달한다. 내가 어떤 후속 작업을 해야 하는지까지 정리해 알려 준다. 불가피한 일로 회의에 늦거나 불참하게 되라도 든든한 ‘백업요원’이 있어 문제가 생기지 않는다.대기업 CEO에게만 가능한 일일까? 이 유능한 비서가 사람이 아니라 생성 AI 기술 기반 ‘AI 에이전트(agent, 대리인)’라면 이야기가 달라진다. 누구나 AI 비서를 사용하는 시대. 글로벌 1위 화상 회의 플랫폼 줌(Zoom)이 그리는 ‘일의 미래’다.줌은 AI 기술 기반으로 ‘디지털 트윈(digital twin)’, 즉 가상의 아바타 혹은 클론(clone)이 화상 회의에 대신 참석하는 미래까지 구상 중이다. 에릭 위안 줌 CEO는 최근 더버지와의 인터뷰에서 “개인 AI 디지털 트윈이 있다면 주당 근무 시간을 3~4일로 단축하는 데 도움을 줄 것”이라고 했다. 

생성AI 기술 기반으로 독립적인 작업을 수행할 수 있는 ‘AI 에이전트’가 비즈니스를 바꾸고 있다는 라리 하말라이넨 맥킨지 수석 파트너의 분석이다. 그는 “생성 AI 기반 에이전트는 작업 과정(workflow)을 자동화할 수 있는 잠재력이 있다”고 강조했다. 실제 빅테크 및 주요 AI 업체들은 최근 ‘AI 에이전트’를 중요한 키워드로 내세우고 있다. 지난 5월 13일(현지시각)에 진행된 오픈AI의 스프링 업데이트, 14일에 열린 구글 I/O, 21일에 있었던 마이크로소프트(MS) 빌드까지 모든 행사에서 공통적으로 AI 에이전트가 언급됐다. 주요 AI 기술 업체들이 AI 에이전트를 강조하는 이유는 무엇일까? 이 트렌드 이면에서는 어떤 물밑 경쟁이 벌어지고 있을까. GPT-4 공개 후 1년가량 흐른 현재, 빠르게 변화하고 있는 생성 AI 산업의 지형도를 살펴봤다. 

A new AI-powered voice conversion tool is threatening to upend traditional models of content production across streaming, film, music, podcasting, and more. Supertone, a subsidiary of HYBE, a major South Korean entertainment company known for managing global K-pop sensation BTS, has unveiled the beta version of its AI voice conversion service called "Shift."The implications of Shift's capabilities are raising eyebrows. The technology stands to 'democratize' content creation by empowering individuals to produce diverse vocal outputs and narratives virtually. This eliminates the need for teams of voice actors, audio engineers, and creators."Youtubers often don't reveal their dual identities. Shift caters to that audience by enabling immersive role-play and disguised personas," Lee Kyo-gu, Supertone's CEO emphasized in an interview with The Miilk.At its core, Shift represents a significant move towards a future of near-zero marginal costs for content creation. AI voice synthesis like Supertone's also radically reduces the production costs and resources previously required. This cutting-edge technology could transform content production across K-pop, movies, YouTube, and beyond, ushering in an era of mass production that defies traditional constraints.

5월 13일과 14일, 양일간 오픈AI와 구글이 각각 '스프링 업데이트'와 '구글I/O'를 통해 미래 산업 구도를 좌우할 최신 AI 기술과 비즈니스를 선보였다. '지상 최대 AI쇼' 였다는 평가다. 구글은 14일(현지시간) 미 캘리포니아주 마운틴뷰 쇼어라인 엠피시어터에서 연례 개발자 회의(I/O)를 열고, 자사의 인공지능 모델 '제미나이'의 업그레이드 버전을 꺼내 들었다. 구글 검색 기능에 제미나이를 탑재해 복잡한 검색을 쉽게 만들고, 카메라에 담긴 사진과 영상을 보고, 질문에 답을 해주는 멀티모달 기능이 특징이다. 이에 앞서 오픈AI는 듣고 말하는 'GPT-4o'를 공개, 세상을 깜짝 놀라게 했다. 구글은 독자 기술과 플랫폼을 기반으로 성장 동력을 만들어내려고 하고 있다. 반면 오픈AI는 마이크로소프트(MS), 애플 등 다른 빅테크 기업들과의 '합종연횡'을 통해 시장을 선점하고 있다. 생성AI가 등장한 지 불과 2년이 채 안된 시점에서 AI 분야 최고 선두주자인 구글과 오픈AI 본격 경쟁이 막이 올랐다.

안녕하세요, 앞서가는 더밀크 구독자 여러분을 위한 프리미엄 리포트 ‘위클리AI브리핑(Weekly AI Briefing)’입니다.한 주 동안 쏟아지는 AI 뉴스 홍수 속에서 놓치지 않고 꼭 챙겨봐야 할 정보를 선별해 드립니다. 핵심 요약으로 독자분들이 시간을 아낄 수 있도록 돕고 ‘실리콘밸리+실리콘앨리’ 현장에서 빅테크, 유망 스타트업의 움직임을 취재하는 더밀크만의 인사이트를 추가했습니다. 보다 자세한 내용은 더 알아보기 링크로 확인하실 수 있습니다.

메타 라마3는 오픈 소스일까요? 팩트를 체크해 보면 답은 ‘아니오’에 가깝습니다. “공개적으로 설계에 접근할 수 있어 누구나 해당 기술을 수정하고 공유할 수 있다”는 오픈 소스의 정의에 해당하지 않기 때문입니다. 결정적으로 라마3는 소스 코드가 공개돼 있지 않습니다. 소스 코드가 공개돼 있느냐, AI 모델을 훈련한 데이터가 공개돼 있느냐, AI 모델의 특성 및 성능을 결정하는 가중치(weights)가 공개돼 있느냐 등 세부 항목을 따져서 ‘개방성’ 정도를 평가하는 차트가 등장할 정도로 ‘개방성’은 AI 업계의 중요 이슈가 되고 있습니다.

안녕하세요, 앞서가는 더밀크 구독자 여러분을 위한 프리미엄 리포트 ‘위클리AI브리핑(Weekly AI Briefing)’입니다.한 주 동안 쏟아지는 AI 뉴스 홍수 속에서 놓치지 않고 꼭 챙겨봐야 할 정보를 선별해 드립니다. 핵심 요약으로 독자분들이 시간을 아낄 수 있도록 돕고 ‘실리콘밸리+실리콘앨리’ 현장에서 빅테크, 유망 스타트업의 움직임을 취재하는 더밀크만의 인사이트를 추가했습니다. 보다 자세한 내용은 더 알아보기 링크로 확인하실 수 있습니다.