‘소프트웨어 3.0’ AI 시대, 당신의 커리어와 기업 전략은?

“이것은 새로운 종류의 컴퓨터입니다. ‘소프트웨어 3.0’이라는 새로운 명칭을 부여할 가치가 있습니다.”

안드레 카파시(Andrej Karpathy) 유레카랩(Eureka Labs) CEO는 18일(현지시각) 공개된 YC AI 스타트업 스쿨 강연에서 “여러분의 프롬프트(prompts, 텍스트 기반 지시문)는 LLM(대규모 언어 모델)을 프로그래밍하는 프로그램이 된다”며 이같이 말했다. 

소프트웨어 1.0이 코드, 소프트웨어 2.0이 인공 신경망(neural net) 결괏값에 영향을 미치는 가중치(weights) 역할을 했다면 소프트웨어 3.0은 LLM에 영향을 주는 ‘프롬프트’ 자체가 되고 있다는 설명이다. 오픈AI 창업 멤버 중 하나이자 테슬라 오토파일럿 개발 총괄을 지낸 카파시는 AI 분야 최고 전문가로 꼽힌다.  

카파시는 “지난 70년간 크게 변하지 않았던 소프트웨어가 최근 몇 년간 두 차례나 급변했다”며 “놀랍게도 우리는 이제 일상생활에서 사용하는 자연어(Natural Language), 즉 영어로 프로그래밍을 하고 있다. 완전히 다른 프로그래밍 패러다임”이라고 강조했다. 

그는 “‘AI는 새로운 전기(electricity)’라는 앤드류 응 스탠퍼드대 교수의 말은 매우 흥미로운 점을 포착하고 있다”며 “LLM은 유틸리티의 속성을 가지고 있다. 오픈AI, 구글, 앤트로픽 같은 LLM 연구소 전력망을 구축하듯 LLM 훈련을 위한 설비 투자(capex)를 한다. 대규모 설비를 갖추고 있다는 점에서는 공장(fab) 같은 특징도 가지고 있다”고 설명했다. 

카파시는 이어 “다만 LLM은 유틸리티 속성을 넘어 CPU(중앙처리장치) 역할을 하는 새로운 종류의 컴퓨터이기도 하다”라며 “컨텍스트 윈도우(context window, 컨텍스트 창. AI 모델이 한 번에 처리하거나 기억할 수 있는 정보의 양)는 메모리와 같고, LLM은 문제를 해결하기 위해 메모리와 컴퓨팅을 오케스트레이션(orchestration, 조정)한다. 이 관점에서 보면 운영체제(OS)와 비슷하다”고 정의했다. 

카파시가 정의한 소프트웨어 패러다임 전환과 이에 따른 사회 구조 변화는 소프트웨어 엔지니어, 프로그래머뿐 아니라 사회 전반에 큰 영향을 미칠 전망이다. 기업 전략 담당자, 미래 진로를 고민하는 모든 이들에게 중요한 통찰을 제공하는 이번 강연의 주요 내용과 시사점을 정리했다.

LLM을 효과적으로 활용하기 위해서는 그 특성을 이해할 필요가 있다. 도구의 특성을 잘 이해하는 장인이 해당 도구에서 최고의 가치를 끄집어내는 것과 비슷하다. 

카파시는 이를 위해 흥미로운 비유를 제시하는데, 바로 LLM을 ‘사람의 영혼’에 비유하는 대목이다. 카파시는 “LLM은 사람 영혼의 확률적 시뮬레이션(stochastic simulations of people spirit)과 같다. LLM은 인간에 의해 훈련됐기 때문에 인간과 유사한 심리가 나타난다”고 설명했다. 

다만 인간과 다르게 초인적인 능력도 갖추고 있는데, 대표적인 게 ‘백과사전식 지식과 기억력’이다. 카파시는 “LLM은 인터넷의 모든 텍스트를 학습해 방대한 백과사전적 지식을 갖췄다”며 “영화 ‘레인맨’의 주인공처럼 LLM은 거의 완벽한 기억력을 가지고 있다”고 설명했다. 

‘인지적 결함’ 역시 LLM의 중요한 특징이다. 초인적인 능력을 가지고 있지만, 동시에 사실이 아닌 내용을 지어내는 ‘환각(Hallucination)’을 제공하거나, 인간이라면 결코 하지 않을 실수를 범하기도 한다는 것이다. 

카파시는 “LLM은 매번 컨텍스트 윈도우가 초기화되므로 경험을 통해 학습하거나 전문성을 개발하지 못한다”며 “영화 메멘토처럼 주인공의 기억이 매번 초기화되는 ‘선행성 기억 상실(Anterograde Amnesia)’이라는 특성을 지닌다”고 했다. 

데이터를 유출할 위험, 프롬프트 해킹 등의 보안 관련 취약성(Gullibility)도 특징이다. 카파시는 이렇게 초인적인 능력과 인지적 결함을 동시에 지닌 LLM을 어떻게 프로그래밍하고 활용할 것인지 고민해야 한다고 강조했다.

그렇다면 구체적으로 LLM을 어떻게 활용하면 좋을가. 카파시는 ‘부분 자율 앱(Partial Autonomy Apps)’에 가장 큰 기회가 있다고 분석했다.  

부분 자율 앱이란 인간의 수동 작업과 LLM을 통합해 더 큰 단위의 작업을 수행하게 하는 애플리케이션(application)을 뜻한다. LLM에는 초인적 능력도 있지만, 동시에 결함도 존재하기 때문에 이를 인간의 수동 작업으로 보완, 더 큰 가치를 만들어 내는 방식이다. 

카파시는 “커서(Cusor) 같은 코드 작성 앱이 아주 좋은 예시”라며 “커서의 경우 내부적으로 모든 파일에 대한 임베딩 모델, 실제 채팅 모델, 코드에 차이를 적용하는 모델이 있다. 이 모든 것이 자동으로 오케스트레이션된다”고 설명했다. 

LLM 기반 앱이 컨텍스트를 관리해 주고, 어떤 LLM을 사용할 것인지 판단해 호출해 주는 오케스트레이션 역할을 함으로써 사용자에게 편의를 제공, 기회를 창출할 수 있다는 관측이다.  

카파시는 GUI(graphical user interface, 그래픽 사용자 인터페이스)의 중요성에 대해서도 강조했다. 현재 LLM은 주로 텍스트 기반의 채팅 형식으로 활용되고 있는데, GUI를 잘 활용하면 인간이 LLM의 작업을 감사(audit)하고 오류를 수정하며 작업 속도를 높일 수 있다는 것이다. 

예를 들어, 코드의 변경 사항을 붉은색과 녹색으로 시각화해 보여주면 텍스트를 읽는 것보다 훨씬 효율적으로 정보를 파악할 수 있게 된다. 

카파시는 “우리는 이제 AI와 협력하고 있다. 일반적으로 AI는 생성을 담당하고, 인간은 검증을 담당한다”며 “이 ‘생성-검증 루프(generation-verification loop)’를 가능한 한 빠르게 만드는 것이 이익이 될 것”이라고 했다.

카파시가 마지막으로 강조한 대목은 AI 에이전트(agent, 대리인) 활용법이다. 인간을 대신해 자율적으로 작업을 수행할 수 있는 AI 에이전트에 대한 기대감이 커지고 있는 가운데, 적절한 활용법을 조언한 것이다. 

카파시는 먼저 “많은 사람들이 AI 에이전트에 대해 지나치게 흥분하고 있다고 생각한다”며 “에이전트의 시대가 도래하려면 꽤 오랜 시간이 걸릴 것으로 본다. 여전히 인간의 개입이 필요하고, 조심스럽게 진행해야 한다”며 과도한 기대를 경계했다. 

그는 이어 “영화 아이언맨에 등장하는 ‘아이언맨 슈트’ 비유를 좋아한다. 아이언맨 슈트는 강력하지만 토니 스타크가 조종한다. AI를 고삐에 묶어둘 필요가 있다(we have to keep the AI on the leash)”고 강조했다. 

그는 실제로 AI 에이전트를 활용할 때 프롬프트가 모호하면 AI가 원하는 대로 작동하지 않아 검증이 실패할 수 있기 때문에 프롬프트를 더욱 구체적으로 작성하는 데 시간을 투자해야 한다고 조언했다. 

또 ‘작은 단위로 작업’하는 것이 중요하다고 했다. AI가 생성한 방대한 양의 코드는 인간이 검증하기 어렵기 때문에 AI 에이전트를 활용하더라도 검증 가능한 단위로 쪼개서 작업할 필요가 있다는 주장이다. 

카파시는 LLM 에이전트가 새로운 유형의 ‘디지털 정보 소비자이자 조작자’가 될 것이라는 예측도 내놨다. 과거에는 인간이 GUI를 통해 혹은 컴퓨터가 API(애플리케이션 프로그래밍 인터페이스)를 통해 디지털 정보와 상호작용했지만, 이제는 인간과 유사한 ‘사람의 영혼’을 가진 에이전트들이 소프트웨어 인프라와 상호작용한다는 주장이다. 이를 위해 그는 “에이전트를 위해 소프트웨어를 구축해야 할 것”이라고 했다.