증강현실

미국 대통령 선거를 앞둔 2016년 9월 실리콘밸리. 페이스북에서 근무하던 팔머 럭키(Palmer Luckey) 오큘러스 VR(Oculus VR, 이하 오큘러스) 창업자가 도널드 트럼프 당시 공화당 대통령 후보를 지지하는 단체 ‘님블 아메리카(Nimble America)’에 1만달러를 기부했다는 뉴스가 대서특필됐다. 월스트리트저널(WSJ), 비즈니스인사이더, 와이어드, 뉴욕타임스 등 주요 언론이 해당 소식을 비판적으로 보도했고, 테크크런치는 ‘오큘러스 창업자 정치 성향의 추악한 현실’이라는 제목으로 그를 맹렬히 질타했다. 님블 아메리카는 단순 트럼프 지지를 넘어 상대 후보 힐러리 클린턴을 자극적으로 조롱·비방하는 광고를 게재하던 극우 성향 단체였기 때문이다. 전통적으로 진보 성향이 강한 실리콘밸리에서 럭키의 이런 행동은 거센 비판에 직면할 수밖에 없었다. 일부 VR(가상현실) 게임 개발자들은 VR 헤드셋 오큘러스 플랫폼에 대한 지원을 철회하겠다고 공개적으로 선언했고, 페이스북 내부에서도 럭키의 처신을 문제 삼는 목소리가 커졌다. 결국 논란이 확산된 지 약 6개월 만인 2017년 3월, 팔머 럭키는 페이스북을 떠나게 된다. 당시 페이스북과 럭키 양측 모두 퇴사 사유에 대해 명확한 설명을 내놓지 않았지만, 업계에서는 이를 사실상의 해고 조치로 받아들였다. 2014년 3월 페이스북이 20억달러(약 2조7600억원)에 오큘러스를 인수, ‘실리콘밸리 성공 신화’로 떠올랐던 럭키의 예기치 않은 퇴장이었다.

페이스북 모회사 메타가 방산 기술 스타트업 안두릴 인더스트리즈(Anduril Industries, 이하 안두릴)와 손잡고 군사용 확장현실(XR) 기기 개발에 나선다.메타와 안두릴은 29일(현지시각) “전장에서 향상된 인지 능력을 제공하고 자율 플랫폼을 직관적으로 제어할 수 있는 다양한 통합 XR 제품을 설계, 제작 및 배치하기 위해 파트너십을 체결했다”고 발표했다. 미군용으로 AI 기술, AR(증강현실), VR(가상현실) 인터페이스 등이 적용된 헬멧, 고글 등 신체 착용형 기기(body-worn devices, 웨어러블 디바이스) 및 장비를 공동 개발한다는 계획이다. 메타와 안두릴의 조인트 MR(joint mixed reality) 기능에는 수천 개의 데이터 원천으로부터 데이터를 통합해 실시간 전장 정보를 제공하는 안두릴의 AI 기반 지휘 및 제어 시스템 ‘래티스 플랫폼’이 통합된다.

전진수 전 SK텔레콤 부사장은 10월 24일 대구 엑스코에서 열린 ‘트렌드쇼 2025’에서 “2025년에는 비주얼(visual, 시각적) 에이전트를 보게될 것”이라며 이같이 말했다.생성 AI 기술 기반으로 작동하는 AI 에이전트와 공간 컴퓨팅(Spatial Computing) 기술이 융합되며 영화 아이언맨에 등장하는 AI 비서 ‘자비스’처럼 눈으로 보며 상호작용할 수 있는 똑똑한 AI 비서가 등장할 것이란 관측이다. 전 부사장은 2022년 네이버 자회사 스노우 산하에 ‘슈퍼랩스’를 창업, AI 버추얼 휴먼(가상 인간), 네비어판 AI 화가 ‘라스코 AI’를 선보인 경험이 있다. SK텔레콤 재직 시에는 메타버스 서비스 ‘이프렌드’ 개발을 진두지휘했고, 그 이전에는 삼성전자 무선사업부에서 12년 동안 모바일 소프트웨어를 개발한 기술 전문가다.

페이페이 리 스탠퍼드대 교수 겸 월드랩스 CEO는 “시각적 공간 지능(Visual spatial intelligence)은 언어만큼이나 근본적(fundamental)”이라며 이같이 말했다. 5억4200만 년 전 고생대 캄브리아기가 시작되며 다양한 생물이 폭발적으로 늘어난 것처럼 ‘공간 지능’ 기반의 폭발적 혁신, 기회가 창출될 것이란 주장이다. 리 CEO는 19일(현지시각) 공개된 실리콘밸리 VC a16z와의 대담에서 자신이 창업한 AI 스타트업 ‘월드랩스(World Labs)’와 월드랩스가 추구하는 공간 지능의 의미 및 잠재력에 관해 설파했다.  인간의 지능에는 여러 측면이 있는데, 그중 하나가 언어 지능이며 언어 지능만큼 근본적인 게 공간 지능이라는 주장이다. 공간 지능은 시각 정보를 인식, 처리하는 능력과 밀접하게 연결돼 있다. 공간 지능을 통해 인간은 주변 세계를 이해하고, 직관적으로 상호작용을 할 수 있다. 리 CEO는 “더 많은 가능성, 미지의 세계를 열어준다는 게 좋은 기술의 마법”이라며 “우리는 앞으로 나아갈 것이다. 가능성은 더욱 확대될 것으로 본다”고 했다. 창작, 디자인, 학습, AR/VR, 로봇 공학 등에 공간 지능이 활용될 수 있다는 설명이다. 월드랩스는 이를 위해 ‘대규모 월드 모델(LWM)’을 개발하고 있다고 밝혔다.  리 CEO의 대담한 비전에 a16z, NEA 등 실리콘밸리 톱 VC(벤처캐피털)들은 2억3000만달러(약 3000억원)를 초기 투자로 쏟아부었다. 2006년 이미지넷 프로젝트를 시작, 딥러닝 분야에서 큰 업적을 남긴 ‘AI 대모(Godmother)’와 월드랩스 공동창업자들이 공간 지능을 강조한 이유는 무엇일까? 

6월 5일(현지시각) 애플의 연례 개발자 컨퍼런스 ‘WWDC 2023’ 현장. 기조연설을 진행하던 팀 쿡 애플 CEO의 목소리가 떨리기 시작했다. 1999년 애플 창업주 스티브 잡스가 혁신적인 신제품을 소개하며 외치기 시작해 애플의 상징으로 자리 잡은 문장이지만, 여느 때와 다른 긴장감이 감돌았다. 애플이 2014년 ‘애플 워치’ 이후 9년 만에 새로운 개인용 컴퓨팅 기기를 발표하는 순간이었기 때문이다. 팀 쿡 CEO는 흥분에 가득 찬 목소리로 발표를 이어 나갔다. “오늘은 제가 오랫동안 기다려 온 날입니다. 저는 증강현실(AR)이 심오한 기술이라고 생각합니다. 디지털 콘텐츠를 현실 세계와 결합하면 이제껏 보지 못했던 새로운 경험을 선사할 수 있습니다. 오늘 혁신적인 신제품과 함께 완전히 새로운 AR 플랫폼을 발표하게 돼 기쁩니다. 애플 비전 프로(Apple Vision Pro)를 소개합니다.”

애플이 오는 6월 5일(현지시각) 공개할 것으로 알려진 MR(혼합현실) 헤드셋에 전 세계 기술업계의 이목이 집중되고 있다.  예상대로 공개한다면, 아이폰 이후 애플의 신제품 중 ‘가장 위험한 도박’이 될 것이라는 게 업계 관계자들의 중론이다. 특히 과거 제품에 적용되지 않은 새로운 디자인, 기술이 필요하다는 점에서 “애플 제조역량의 시험대가 될 것”이라는 관측까지 나온다. 실제로 2015년 ‘애플 워치’ 이후 애플이 새로운 개인용 컴퓨팅 기기를 출시하는 건 약 8년 만의 일이다. 왜 도박이라는 관측이 나오는 걸까? 새 하드웨어 제조에 있어 가장 도전적인 요소는 무엇일까?

2021년 5월. 구글에서 이미지 기반 패션 스타일 추천 도구(스타일 아이디어, Style Ideas)를 개발하던 소프트웨어 엔지니어 정세준은 대형 헤지펀드 ‘시타델(Citadel)’의 트레이딩 관리 시스템 개발자 우정한과 뉴욕에서 조우했다. 샌프란시스코 베이 에어리어(San Francisco Bay Area), 시카고에서 일하던 둘은 그해 4월과 5월 각각 ‘세계의 수도’ 뉴욕으로 건너왔고, 마침내 맨해튼 한인타운에서 술잔을 기울일 수 있게 됐다. 두 엔지니어의 인연은 2012년으로 거슬러 올라간다. 미국 펜실베이니아주 피츠버그에 위치한 명문 카네기멜론대에서 컴퓨터공학과 대학원생과 학부생으로 만난 게 인연의 시작이었다. “당시 한 스타트업에서 정한이와 잠시 함께 일했는데, 너무 똑똑해서 깜짝 놀랐던 기억이 있어요. 하나를 알려주면 세 개를 아는 친구였죠. 나중에 기회가 생기면 꼭 같이 일해야겠다고 그때 마음먹었습니다.”    두 청년은 뉴욕에서의 만남을 운명처럼 느꼈다. 언젠가 꼭 함께 창업하고 싶다고 생각만 해왔는데, 실제로 도전할 수 있는 여건이 마련됐기 때문이다. 창업 아이템은 메타버스(가상 세계) 및 혼합현실(Mixed Reality)에 모두 적용 가능한 디지털 패션, 디지털 웨어러블(wearble) 기술로 잡았다. 

마크 저커버그 메타(티커: FB) CEO는 지난 16일(현지시각) 진행한 ‘인사이드랩(Inside the Labs: VR Display)’ 라운드테이블(간담회)에서 “인간의 시각 능력과 동일한 수준의 디스플레이는 (가상 세계에) ‘실재 존재하는 기분(realistic sense of presence)’을 느끼게 해 줄 것”이라며 이같이 말했다.무겁고 불편하며 사실감이 떨어지는 현재 VR(가상현실)·AR(증강현실) 기기 수준을 뛰어넘는 새로운 기기가 등장하면 미디어·엔터테인먼트 산업의 판도가 바뀔 것이란 주장이다.이날 진행된 인사이드랩 행사는 메타의 최신 VR·AR·MR(혼합현실) 기술을 설명하기 위한 자리였다. 마크 저커버그 CEO를 비롯해 메타 산하 VR 연구 조직인 ‘리얼리티랩리서치(Reality Labs Research)’에서 일하는 전문 연구원 5명이 함께 참여해 앞으로 풀어야 할 숙제, 메타의 접근 방식 등을 소개했다.‘홀로케이크2(Holocake 2)’, ‘버터스카치(Butterscotch)’ 등 리얼리티랩 리서치가 개발 중인 최신 헤드셋 프로토타입(시제품)도 공개했다. 홀로케이크2는 현재까지 공개된 VR 헤드셋 중 가장 얇고 가벼운 기기다. 컴퓨터와 연동(PC-tethered)해 사용하도록 개발됐으며 현재 존재하는 VR 콘텐츠를 모두 구동할 수 있는 성능을 갖췄다. 버터스카치는 고화질의 ‘레티나 해상도(retinal resolution)’를 지원하는 VR 헤드셋이다. 스키 고글 형태의 콘셉트 디자인 ‘미러레이크(Mirror Lake)’도 선보였다.프로토타입 설명에 앞서 저커버그 CEO는 더 나은 차원의 시각 경험이 왜 중요한지에 대해 먼저 강조했다. ‘비주얼 리얼리즘(visual realism)’이란 용어를 사용하며 메타가 왜 이 분야에 집중하는지, 이 기술이 왜 게임 체인저(game changer, 시장의 흐름을 통째로 바꾸거나 판도를 뒤집는 요소)가 되는지 설명하는 데 많은 시간을 할애했다.

마크 저커버그 메타(티커: FB) CEO가 16일(현지시각) 공개한 ‘홀로케이크2(Holocake 2)’는 현재까지 메타가 개발한 VR(가상현실) 헤드셋 중 가장 얇고 가벼운 기기다. VR 헤드셋 시장의 80%를 메타가 차지(IDC, 2021년 기준)하고 있다는 사실을 고려하면 사실상 세계에서 가장 얇고 가벼운 VR 헤드셋이라고 볼 수 있다.메타 내부 VR 리서치 조직인 ‘리얼리티랩리서치(Reality Labs Research)’ 발표에 따르면 홀로케이크2는 컴퓨터와 연동(PC-tethered)해 사용하도록 만들어졌으며 현재 존재하는 VR 콘텐츠를 모두 구동할 수 있는 성능을 갖췄다.저커버그 CEO는 이날 홀로케이크2 외에도 레티나 해상도(retinal resolution)를 지원하는 VR 헤드셋 프로토타입 ‘버터스카치(Butterscotch)’, HDR(High dynamic range, 가장 밝은 흰색과 가장 어두운 검은색 사이의 대비. 명암의 범위가 넓을수록 생생한 표현이 가능하다)을 지원하는 VR 헤드셋 프로토타입 ‘스타버스트(Starburst)’ 등 다양한 프로토타입을 선보였다.핵심은 이 프로토타입들이 실제 같은 시각 경험을 만들어내는데 필요한 기술을 최대로 적용한 제품이라는 점이다. 메타는 해상도를 높인 버전, HDR을 지원하는 버전, 가장 가볍고 얇은 버전의 프로토타입을 각각 공개한 후 이 기술을 통합한 ‘미러레이크(Mirror Lake)’를 개발 중이라고 밝혔다. 미러레이크는 스키 고글 폼팩터(Form Factor, 제품 외형이나 크기, 물리적 배열을 의미)를 채용한 콘셉트 디자인이다.

세바스찬 드가이(Sébastien Deguy) 어도비 3D 및 몰입형 디자인 부문 부사장은 더밀크와의 단독 인터뷰에서 “어도비는 오랜 개발 기간, 대규모 투자·노력을 투입해 ‘어도비 서브스턴스 3D(Adobe Substance 3D)’를 발표했다”며 이같이 말했다.어도비는 지난 6월 23일(현지 시각) 어도비 서브스턴스 3D를 선보이며 본격적으로 3D 크리에이티브 시장 공략에 나섰다. ‘메타버스(Metaverse, 3차원 가상 세계)’가 글로벌 테크 업계 핫 키워드로 떠오르며 연관 산업이 빠르게 성장하자 발 빠른 대응에 나선 것으로 풀이된다.어도비 서브스턴스 3D는 수천 개의 3D 에셋(디자인 작업에 활용할 수 있는 자원)으로 구성된 창작 툴(tool, 도구)이다. 포토샵, 일러스트레이터 등 2D 이미지 창작 툴로 유명한 어도비가 최초로 선보인 3D 전문 툴이기도 하다. 로블록스, 포트나이트, 제페토 등 메타버스 플랫폼이 Z세대를 사로잡았고, 3D 아바타를 비롯한 3D 콘텐츠 수요는 어느 때보다 높아졌다.어도비는 3D 기술의 미래 잠재력을 보고 2019년 유망 3D 스타트업 ‘알레고리드믹(Allegorithmic)’을 인수했다. 드가이 부사장은 2002년 알레고리드믹을 설립, 회사를 이끌어온 3D 업계 전문가다. 대표 제품 서브스턴스는 3D 텍스처(texture, 사물의 질감) 표현 부문 업계 표준으로 인정받는다.

마이크로소프트(티커: MSFT)가 미국 육군에 맞춤형 홀로렌즈 12만개를 공급한다.31일 미 육군에 따르면 마이크로소프트는 미국 국방부와 맞춤형 홀로렌즈(HoloLens) 공급계약을 체결했다. 홀로렌즈는 머리에 착용하는 형태의 혼합현실(Mixed Reality) 기기다.홀로렌즈는 AR(증강현실), VR(가상현실) 경험을 모두 제공한다. 현실 공간에서 가상의 콘텐츠, 사물을 조작하며 상대방과 상호작용할 수 있다는 점이 특징이다.마이크로소프트는 지난 2일 ‘이그나이트 2021’ 컨퍼런스에서 홀로렌즈2와 3차원(3D) 디지털 협업플랫폼 ‘메시(Mesh)’를 사용해 물리적 공간을 초월한 협업 솔루션을 보여주기도 했다.홀로렌즈2 기기를 착용한 사용자들이 자신을 본뜬 아바타 형태로 특정 공간에 모여 회의를 하거나 눈앞에 보이는 3D 건축 설계도면을 손으로 만지며 대화를 나누는 식이다.CNBC에 따르면 이번 계약의 규모는 최대 218억8000만달러(약 24조8000억원)에 이를 것으로 보인다. 마이크로소프트는 10년에 걸쳐 미 육군에 홀로렌즈를 공급하게 된다.이 소식이 전해지자 마이크로소프트 주가는 장중 238.57달러까지 오르기도 했다. 마이크로소프트는 이날 전 거래일보다 1.69% 오른 235.77달러에 거래를 마감했다.미 육군은 마이크로소프트의 홀로렌즈를 활용한 ‘IVAS(Integrated Visual Augmentation System)’를 사용할 전망이다. 이 시스템에는 지도와 나침반이 표시된다. 밤에도 사람을 인식할 수 있는 열 화상 감지 기능도 활용할 수 있는 것으로 알려졌다.미 육군은 블로그를 통해 “IVAS 시스템은 향상된 상황 인식, 정보에 입각한 의사 결정을 가능케 한다”며 “혼합현실 교육이 가능하기 때문에 실전에 앞서 훈련용으로도 사용할 수도 있다”고 밝혔다.

실제 모습과 가상의 이미지를 겹쳐 보여주는 ‘혼합현실(mixed reality)’ 세상이 점차 현실화되고 있다. 마이크로소프트(MS)는 2일(현지시간) 부터 4일까지 개최한 개발자 컨퍼런스 ‘이그나이트(Ignite)’에서 증강 현실, 혼합 현실 기술은 이미 우리 생활 속에 들어와 있으며 주류 플랫폼으로 자리잡을 것이라고 전망했다. MS는 이그나이트에서 혼합현실을 가장 대중화한 사례로 ‘포켓몬고(Pokemon Go)’를 꼽았다. 포켓몬고는 아바타가 현실과 겹쳐져 선풍적인 인기를 끈 게임이다. 혼합현실 사례는 코로나 팬데믹으로 인해 많아졌다. 교육이나 콘서트, 파티 등에서도 사용됐다. 소비자들도 구매 결정을 하기 전에 스마트폰을 이용해서 물건을 경험하기도 했다. 가상의 가구를 미리 현실 환경에 배치했으며, 패션 디자인에서도 활용됐다. 산업 현장에서도 새로운 직원들을 교육하고, 원격으로 전문가의 안내를 받는 데 사용됐다. 그러나 혼합현실 기술이 발전했음에도 대중화가 어려웠던 것은 관련 프로그램 개발이 쉽지 않았기 때문이다. 사이먼 스카리아(Simon Skaria) 마이크로소프트 혼합 현실 제품 개발 디렉터는 혼합 현실 프로그램 개발의 어려움을 세 가지로 설명했다.첫째, 고해상도 3D 모델을 혼합 현실 안에 구현하는 것이 어려웠고 둘째, 사람을 실제 모습대로 구현하고 장소/시간/디바이스에 상관없이 안정적인 홀로그램을 만드는 것이 어려웠으며, 마지막으로 다양한 장소에서 동시에 일어나는 행동과 표현들을 동기화하는 것이 힘들었다는 것이다. 그동안 혼합현실 구현에는 많은 시간과 자본이 필요했다.