GPT-4 집중 분석, 챗GPT와 무엇이 달라졌나?

멀티모달. 지난 3월 14일 전격 공개된 GPT-4의 핵심 기능입니다. 모달리티 modality의 사전적 정의는 무언가를 실행하거나 경험하는 특정한 방식을 뜻합니다. 우리말로는 양식 정도로 번역될 수 있습니다. 인간은 사물을 멀티모달로 인식합니다. 인간은 처음 사과라는 존재를 인식할 때 먼저 보고, 듣고, 맛보고, 맡고, 느낍니다. 오감을 통해 사물의 존재를 이해하는 것이죠. 그걸 사과라는 단어로 부른다는 건 나중에 배웁니다. 언어권에 따라선 사과 대신 애플이나 링고일 수도 있겠죠. 

GPT-3.5에 해당되는 챗GPT는 초거대 언어 모델입니다. 세상의 거의 모든 텍스트 빅테이터를 다 읽었죠. 엄청나게 유식합니다. 정작 세상을 직접 본 적은 없습니다. 애플이란 단어의 의미는 인식하지만 애플이란 사물을 경험한 적은 없는 겁니다. 한 마디로 세상을 책으로 배운 인공지능이죠.

멀티모달 생성AI인 GPT-4는 세상을 보고 읽습니다. 스크린캡쳐한 화면 이미지를 제공하면 텍스트로 설명을 합니다. 사람처럼 사물을 통합적 양식으로 인식하는 것이죠. 미라 무리티 오픈AI CTO가 GPT-4를 선보이면서 “인간 수준의 성능을 발휘한다”고 설명한 맥락이죠. 멀티모달 인공지능 GPT-4는 분명 인간지능과 조금 더 유사해졌습니다. 

사용자 입장에서도 GPT-4는 텍스트 입력만이 아니라 이미지 입력이 가능하다는 것이 가장 큰 차이점입니다. 오픈AI가 공개한 25분 분량의 공식 데모를 통해 확인해보면 챗GPT와의 차이점이 분명하게 드러납니다. GPT-4는 사람이 종이에 쓴 손글씨 메모를 인식합니다. 스마트폰으로 메모를 촬영해서 GPT-4에 입력하면 메모 내용을 보고 읽고 필요한 작업을 수행합니다.

사과 사진과 달걀 사진과 우유 사진과 설탕 사진을 입력하고 이걸로 가능한 요리가 무엇인지 물으면 가능한 사과 요리 레서피를 알려주죠. 사과 팬케이크일 수도 있고 사과쨈일 수도 있습니다. 심지어 특정 그림을 보여주고 이상한 점이나 우스운 점을 찾아내달라고 요구하면 정확하게 맞춥니다.

챗GPT는 텍스트 기반이라는 게 한계였습니다. 사용자는 원하는 결과를 얻으려면 챗GPT와 복잡한 필담을 나눠야만 했죠. 챗GPT의 활용도를 높이려면 프롬프트를 잘 입력해야만 했죠. 그래서 지난해 2022년 11월 챗GPT가 첫 선을 보인 이후 쏟아져나온 정보가 각종 프롬프트 요약본들이었습니다. 일종의 챗GPT 족보였죠. 앞으로 챗GPT 프롬프트 엔지니어를 연봉 1억에 뽑는다는 채용 공고까지 떴죠. 챗GPT와 얼마나 필담을 잘 나누는지가 관건이 됐습니다.

GPT-4가 보여준 생성AI의 진화 방향으로 유추해보면 결국엔 이조차도 필요 없어질지도 모릅니다. 멀티모달이 강화될 생성AI는 읽고 보고 느끼면서 사용자의 문제를 스스로 파악하고 해법까지 제시하게 될테니까요. 질문할 필요조차 없어지는 겁니다. 오픈AI와 코히어 그리고 재스퍼 같은 생성AI 스타트업은 “생성AI의 미래는 검색을 넘어 액션”이라고 전망합니다. 사용자가 배고픈 표정만 보여줘도 인공지능이 알아서 햄버거를 주문해주는 미래가 만들어지고 있는 겁니다. GPT-4는 그 시작점입니다.

GPT-4는 미국 변호사 시험의 상위 10% 안에 들었습니다. 생물학 올림피아드에선 상위 1% 안에 들었죠. 두 시험은 모두 단순 암기가 아니라 팩트에 기반한 추론 능력을 확인하는 테스트입니다. GPT-4의 고급 추론 능력이 변호사 시험에 응시한 인간들과 비교해서 상위 10% 수준이라는 의미죠.

추론은 인간 지능한테도 상승 무공에 해당됩니다. 제한된 데이터 안에서 새로운 결과를 도출하는 것이니까요. 이런 추론의 대가로는 셜록 홈즈가 있죠. 이 정도 추론 능력이라면 GPT-4는 당장 변호사나 탐정 사무실을 개소해도 될 정도입니다. 바꿔 말하면 실제 직업 현장에 투입할 수 있을 정도의 지적 능력을 갖췄다는 뜻입니다.

이쯤되면 테드 샌더스 오픈AI 테크니컬 리드가 “GPT-4는 진정으로 장난감에서 도구로 전환된 것”이라고 말할 만 하죠. 실제로 오픈AI가 공개한 데모 영상에서 GPT-4는 세무 상담에서 탁월한 역량을 발휘하는 모습을 보여줬습니다. 결혼 유무나 가족 관계나 소득 정도에 따라 각양각색인 세금 환급 문제를 대화를 통해 친절하게 해결해줬죠. 내년 연말정산은 GPT-4 세무사한테 맡겨도 되겠습니다.

오픈AI는 GPT-4를 이미 듀오링고와 칸아카데미와 통합했다고 밝혔습니다. 듀오링고는 루이스 폰 안이 창업한 언어 교육 에듀테크 기업입니다. 칸 아카데미는 살 칸이 설립한 비영리 교육 기관이죠. 칸 아카데미는 GPT-4에 기반한 튜터봇을 선보일 것으로 보입니다. 듀오링고 역시 GPT-4를 이용한 언어 교육 상품을 준비하고 있죠. 오픈AI가 앞으로 GPT 생성AI의 목적을 어디에 두려고 하는지 추론할 수 있는 대목입니다.

그렉 브록만 오픈AI 사장은 GPT-4 출시와 관련한 트윗에서 "GPT-4를 칸 아카데미에 내장했다“며 ”이것은 내 꿈의 어플리케이션 중의 하나“라고 말했죠. 그렉 브록만 회장은 현재 진행 중인 SXSW2023에서도 무대에 올라 미래 세대의 교육 문제와 생성AI와 관계를 논의했습니다. 생성AI를 통한 교육 업그레이드는 애당초 비영리 단체였던 오픈AI의 숙원인 것이죠. 인공지능이 인간지능 발달을 돕는 겁니다.

반면 오픈AI와 전략적 파트너쉽을 맺은 MS는 검색과 업무 영역에서 생성AI의 상업화를 주도할 공산이 큽니다. 샘 알트만 오픈AI CEO는 MS와 사티아 나델리 CEO를 ”이렇게 깊이 파트너십을 맺을 수 있는 유일한 기술 회사“이며 ”오픈AI와 가치관이 일치하는 회사“라고 말한 적이 있습니다.

MS는 3월 16일 ‘AI를 활용한 일의 미래’ 스페셜 이벤트를 개최할 예정입니다. 이 자리의 호스트는 사티아 나델라 CEO와 MS 365 책임자인 제러드 스파타로입니다. 주제는 당연히 아웃룩과 엑셀 그리고 파워포인트와 생성AI의 결합이 될 가능성이 높습니다. 하루 전날 오픈AI가 GPT-4를 전격 발표하면서 교육 분야로의 확대를 선포한 것과 이어지는 이야기죠.

실제로 조르디 리바스 빙&MS 부사장은 GPT-4 발표와 관련한 트윗에서 ”프로메테우스를 사용하는 차세대 빙은 GPT-4에 기반하게 될 것“이라고 밝혔죠. 프로메테우스는 GPT와 결합한 MS의 초거대언어모델입니다. 인간에게 불이라는 도구를 가져다준 신화 속 인물이죠. 오픈AI가 지핀 불로 앞으로 MS가 무엇을 하려는지를 보여주는 이름입니다.

샘 알트만은 최근까지도 GPT-4 출시가 임박했다는 뉴스를 가짜 뉴스로 일축했습니다. 지난 1월 17일 진행된 스트릭틀리 VC 대담에선 ”늦더라도 완벽하게“ 출시하겠다고 몇 번이고 강조했었죠. 생성AI 기술은 임계점에서 임계점으로 점진적으로 진화돼야만 한다는 신념 때문이었습니다. 오픈AI에는 세상이 AI에 준비가 돼있는지를 연구하는 팀이 따로 있다고도 밝혔죠.

그렇지만 오픈AI가 아무리 생성AI의 대중화를 촉발시켰다고 해도 이미 시작된 변화의 속도까지 조절할 수는 없는 노릇입니다. 멀티모달 AI는 이미 메타와 구글도 준비하고 있죠. 기술 경쟁에서 자유로울 수 없는 겁니다. 사실 GPT-4의 멀티모달 기능은 샘 알트만이 암시했고 기술 업계가 예측했던 것보단 제한적입니다. 텍스트에 이미지가 더해진 정도니까요.

게다가 생성AI의 가장 큰 약점인 환각 현상 문제도 완벽하게 개선되진 못한 것으로 알려졌습니다. 홀루시네이션이라고 불리는 환각 현상은 챗GPT가 아무말 대잔치를 벌이는 것입니다. 챗GPT가 논리 전개를 거듭하다가 급기야 댕댕이 소리를 하기 시작하는 겁니다. 갑분싸 사랑을 고백하는 식이죠. 사랑을 책으로 배웠으니깐요. GPT-4 역시 세상을 그림책으로 배운 AI입니다. 홀루시네이션 문제에서 자유롭긴 어렵죠.

그렇지만 GPT-4가 훨씬 더 창의적이라는 건 분명합니다. 멀티모달과 추론력을 통해 사실적이고 안정적이 됐습니다. 사용자의 의도적인 오남용을 회피할 수 있는 안전 논리 회로도 만들어뒀습니다. 사람을 죽이는 방법 같은 질문에는 답을 하지 않는 것이죠.

지금 실리콘밸리에선 생성AI의 주도권 싸움이 치열합니다. 더 이상 비영리 기관이 아닌 오픈AI도 이런 경쟁에서 자유롭진 못하죠. GPT-4로 오픈AI는 선두의 자격을 입증하는데 성공했습니다. 동시에 출시를 앞당기면서 선두를 지키려는 강한 의지도 확실히 보여줬습니다. 멀티모달입니다.

오픈AI, 챗GPT 뛰어넘는 ‘GPT-4’ 전격 공개… 무엇이 다른가?

샘 알트만이 직접 밝힌 GPT-4 "텍스트 넘어 동영상까지"

오픈AI "진정한 도구다. GPT-4 이전 모델은 장난감일 뿐"

‘GPT-4’ 퀵리뷰, 챗GPT 능가하는 충격적 성능

[더밀크 AI 아카데미] 윤송이 사장이 밝힌 GPT의 미래 "GPT-4는 대형 이벤트"

2023년을 좌우할 이벤트 : GPT-4, 애플 XR, 달 탐사