컨텍스트 윈도우

“이것은 새로운 종류의 컴퓨터입니다. ‘소프트웨어 3.0’이라는 새로운 명칭을 부여할 가치가 있습니다.”안드레 카파시(Andrej Karpathy) 유레카랩(Eureka Labs) CEO는 18일(현지시각) 공개된 YC AI 스타트업 스쿨 강연에서 “여러분의 프롬프트(prompts, 텍스트 기반 지시문)는 LLM(대규모 언어 모델)을 프로그래밍하는 프로그램이 된다”며 이같이 말했다. 소프트웨어 1.0이 코드, 소프트웨어 2.0이 인공 신경망(neural net) 결괏값에 영향을 미치는 가중치(weights) 역할을 했다면 소프트웨어 3.0은 LLM에 영향을 주는 ‘프롬프트’ 자체가 되고 있다는 설명이다. 오픈AI 창업 멤버 중 하나이자 테슬라 오토파일럿 개발 총괄을 지낸 카파시는 AI 분야 최고 전문가로 꼽힌다.  카파시는 “지난 70년간 크게 변하지 않았던 소프트웨어가 최근 몇 년간 두 차례나 급변했다”며 “놀랍게도 우리는 이제 일상생활에서 사용하는 자연어(Natural Language), 즉 영어로 프로그래밍을 하고 있다. 완전히 다른 프로그래밍 패러다임”이라고 강조했다. 그는 “‘AI는 새로운 전기(electricity)’라는 앤드류 응 스탠퍼드대 교수의 말은 매우 흥미로운 점을 포착하고 있다”며 “LLM은 유틸리티의 속성을 가지고 있다. 오픈AI, 구글, 앤트로픽 같은 LLM 연구소 전력망을 구축하듯 LLM 훈련을 위한 설비 투자(capex)를 한다. 대규모 설비를 갖추고 있다는 점에서는 공장(fab) 같은 특징도 가지고 있다”고 설명했다. 카파시는 이어 “다만 LLM은 유틸리티 속성을 넘어 CPU(중앙처리장치) 역할을 하는 새로운 종류의 컴퓨터이기도 하다”라며 “컨텍스트 윈도우(context window, 컨텍스트 창. AI 모델이 한 번에 처리하거나 기억할 수 있는 정보의 양)는 메모리와 같고, LLM은 문제를 해결하기 위해 메모리와 컴퓨팅을 오케스트레이션(orchestration, 조정)한다. 이 관점에서 보면 운영체제(OS)와 비슷하다”고 정의했다. 카파시가 정의한 소프트웨어 패러다임 전환과 이에 따른 사회 구조 변화는 소프트웨어 엔지니어, 프로그래머뿐 아니라 사회 전반에 큰 영향을 미칠 전망이다. 기업 전략 담당자, 미래 진로를 고민하는 모든 이들에게 중요한 통찰을 제공하는 이번 강연의 주요 내용과 시사점을 정리했다.