저커버그가 바라본 AI의 미래... “지속 가능한 우위 확보해야”(전문)

고성능 컴퓨팅 초창기에 주요 기술 기업들은 각각 자체적인 클로즈드 소스(closed source, 폐쇄형) 버전의 ‘유닉스(Unix, 벨 연구소에서 개발한 운영 체제. 현대적 컴퓨터 운영 체제의 원형)’ 개발에 막대한 투자를 했습니다. 

당시에는 다른 접근 방식으로 이런 고급 소프트웨어를 개발한다는 걸 상상하기 어려웠습니다. 하지만 결국 오픈 소스(open source)인 ‘리눅스(Linux)’가 인기를 얻게 됐습니다. 개발자가 원하는 대로 코드를 수정할 수 있고, 더 저렴했기 때문입니다. 시간이 지나면서 리눅스는 폐쇄적인 유닉스보다 더 발전, 더 안전하면서도 더 많은 기능을 지원하는 광범위한 생태계를 갖추게 됐습니다. 오늘날 리눅스는 클라우드 컴퓨팅과 대부분의 모바일 장치를 실행하는 운영 체제 업계 표준이 됐고, 덕분에 우리 모두는 우수한 제품의 혜택을 누리고 있습니다.

AI도 비슷한 방식으로 발전할 것이라고 믿습니다. 현재 여러 기술 기업이 선도적인 폐쇄형 모델을 개발하고 있습니다. 하지만 오픈 소스가 그 격차를 빠르게 좁혀가고 있습니다. 작년에 출시된 라마 2는 프론티어(Frontier, 최첨단) 대비 뒤처진 구세대 모델과 비교됐으나 올해 출시된 라마 3는 가장 진보된 모델과 경쟁하며 일부 영역에서는 선두를 달리고 있습니다. 내년부터는 향후 출시될 라마가 업계에서 가장 발전된 모델이 될 것으로 예상합니다. 지금도 라마는 이미 개방성, 수정 가능성, 비용 효율성 측면에서 선두를 달리고 있습니다.

우리는 오늘 오픈 소스 AI가 업계 표준이 되는 다음 단계로 나아가고 있습니다. 최초의 프론티어급 오픈 소스 AI 모델인 라마 3.1 405B와 개선된 라마 3.1 70B 및 8B 모델을 출시합니다. 405B 모델은 폐쇄형 모델에 비해 비용 대비 성능이 훨씬 뛰어날 뿐만 아니라 개방형 모델입니다. 미세조정(fine-tuning), 증류(distilling)를 통한 소규모 모델 개발에 가장 적합한 선택이 될 것입니다.

메타는 이런 모델을 출시하는 것 외에도 다양한 기업들과 협력, 더 넓은 생태계를 만들고 있습니다. 아마존, 데이터브릭스, 엔비디아는 개발자가 (라마를 활용해) 자체 모델을 미세 조정하고 증류할 수 있도록 지원하는 전체 서비스 제품군을 출시합니다. 혁신 기업 그로크(Groq)는 메타의 새 모델을 위한 저지연, 저비용 추론 서비스를 구축했습니다. 라마 3.1은 AWS, 애저(Azure), 구글, 오라클을 포함한 모든 주요 클라우드에서 사용할 수 있습니다. 스케일AI(Scale.AI), 델, 딜로이트는 기업이 라마를 도입하고 자체 데이터로 맞춤형 모델을 학습할 수 있도록 지원할 준비가 돼 있습니다. 커뮤니티가 성장하고, 더 많은 기업이 새로운 서비스를 개발함에 따라 우리는 함께 힘을 모아 라마를 업계 표준으로 만들 수 있습니다. 그리고 모든 사람에게 AI의 혜택을 제공할 수 있습니다.

메타는 오픈 소스 AI에 전념하고 있습니다. 오픈 소스가 최고의 개발 스택이라고 생각하는 이유, 오픈 소스 Llama가 Meta에 좋은 이유, 오픈 소스 AI가 전 세계에 좋은 플랫폼이며 따라서 장기적으로 지속될 플랫폼인 이유를 간략하게 설명하겠습니다.

전 세계의 개발자, CEO, 정부 관계자들과 이야기를 나누다 보면 보통 다음과 같은 몇 가지 주제를 듣게 됩니다.

• 우리는 자체 모델을 훈련하고, 미세조정하고, 증류해야 합니다. 모든 조직마다 요구사항이 다릅니다. 자체 데이터로 훈련하거나 미세 조정하기 위한 다양한 규모의 모델이 필요합니다. 온디바이스 작업과 분류 작업에는 작은 모델이 필요하고, 더 복잡한 작업에는 큰 모델이 필요합니다. 이제 가장 발전된 라마 모델을 가져와 자체 데이터로 훈련하고, 메타 혹은 다른 누군가가 각 조직의 데이터를 보지 않도록 지키면서 최적의 크기로 모델을 증류, 축소할 수 있습니다.

• 우리는 스스로의 운명을 통제하길 원합니다. 폐쇄적인 공급업체에 종속되기 싫습니다. 많은 조직은 스스로 실행하거나 제어할 수 없는 외부 모델에 의존하기를 원하지 않습니다. 폐쇄형 모델 제공업체가 모델을 변경하거나 사용 약관을 변경하거나, 심지어 서비스를 완전히 중단하는 것을 원하지 않습니다. 또한 모델에 대한 독점권을 가진 단일 클라우드에 종속되는 것을 원하지 않습니다. 오픈 소스는 호환 가능한 도구 체인을 갖춘 광범위한 기업 생태계를 지원하기 때문에 쉽게 이동할 수 있습니다.

• 우리는 데이터를 보호해야 합니다. 많은 조직은 보안이 필요한 민감한 데이터를 처리합니다. 이런 데이터는 클라우드 API(애플리케이션 프로그래밍 인터페이스)를 통해 폐쇄형 모델로 전송할 수 없습니다. 어떤 조직은 폐쇄형 모델 제공업체의 데이터를 신뢰하지 않습니다. 오픈 소스는 원하는 곳에서 모델을 실행할 수 있게 함으로써 이러한 문제를 해결합니다. 오픈 소스 소프트웨어는 투명하게 개발되기 때문에 더 안전한 경향이 있다는 것은 잘 알려진 사실입니다.

• 우리는 효율적이며 경제적으로 실행할 수 있는 모델이 필요합니다. 개발자들은 자체 인프라에서 라마 3.1 405B의 추론을 실행할 경우 사용자 대상 및 오프라인 추론 작업 모두에서 GPT-4o 같은 폐쇄형 모델 대비 약 50% 저렴한 비용으로 실행할 수 있습니다.

• 우리는 장기적으로 표준이 될 생태계에 투자하고 싶습니다. 많은 사람들이 오픈 소스가 폐쇄형 모델보다 빠른 속도로 발전하고 있으며 장기적으로 가장 큰 이점을 제공할 아키텍처에 시스템을 구축하고 싶어 합니다. 

메타의 비즈니스 모델은 사람들을 위한 최고의 경험과 서비스를 구축하는 것입니다. 이를 위해서는 항상 최고의 기술에 접근할 수 있어야 합니다. 경쟁사의 폐쇄적인 생태계에 종속돼 우리가 만드는 것을 제한받아선 안 됩니다.

애플이 자사 플랫폼에서 허용하는 방식에 맞춰 서비스를 구축한 건 저의 성장 경험 중 하나입니다. 개발자에게 부과하는 세금, 자의적인 규칙 적용, 혁신적 제품 출시를 차단하는 행위를 볼 때 이런 제한이 없다면 메타와 다른 많은 회사가 훨신 더 나은 서비스를 개발할 수 있는 자유를 얻게 될 것이 분명합니다. 철학적 차원에서 볼 때, 이것이 바로 제가 차세대 컴퓨팅을 위한 AI, AR/VR 분야에서 개방형 생태계 구축을 강력하게 믿는 주요 이유입니다.

사람들은 종종 라마를 오픈 소스로 공개해 기술적 이점을 포기하는 것에 대해 걱정되지 않느냐고 묻습니다. 하지만 이런 시각은 큰 그림을 놓치는 것입니다. 몇 가지 근거를 들어보겠습니다.

첫째, 최고의 기술에 접근하고 장기적으로 폐쇄적인 생태계에 갇히지 않으려면 도구, 효율성 개선, 반도체 최적화, 기타 통합으로 구성된 완전한 생태계로 발전해야 합니다. 만약 우리 회사만 라마를 사용한다면 이 생태계는 발전하지 못할 것이고, 폐쇄적인 유닉스의 변형보다 나은 성과를 거두지 못할 것입니다.

둘째, AI 개발 분야는 계속해서 경쟁이 치열할 것으로 예상됩니다. 특정 시점에서 특정 모델을 오픈 소스로 바꾼다고 해서 차선책 모델 대비 큰 이점을 제공하지는 않을 것으로 예상합니다. 라마가 업계 표준이 될 수 있는 길은 세대를 거듭할수록 지속해서 경쟁력 있고, 효율적이며 개방적인 모습을 유지하는 것입니다.

셋째, 메타와 폐쇄형 모델 제공업체의 주요 차이점은 우리는 AI 모델에 대한 접근(access) 권한을 판매하는 걸 비즈니스 모델로 삼지 않는다는 점입니다. 즉, 라마를 공개해도 다른 폐쇄형 모델 제공업체처럼 수익, 지속 가능성 또는 연구에 투자할 수 있는 능력이 저하되지 않습니다. (이는 몇몇 폐쇄적인 AI 모델 제공업체가 오픈 소스를 반대를 위해 정부에 지속적인 로비를 하는 이유 중 하나입니다.)

마지막으로, 메타는 오픈 소스 프로젝트에 관한 오랜 성공의 역사를 가지고 있습니다. 오픈 컴퓨트 프로젝트를 통해 서버, 네트워크, 데이터센터 설계를 공개했고, 공급망은 이 설계를 표준화함으로써 수십억 달러를 절감했습니다. 또한 파이토치(PyTorch), 리액트(React) 등 주요 도구를 오픈 소스로 공개, 생태계 혁신의 혜택을 입었습니다. 이런 접근 방식은 장기간에 걸쳐 일관되게 효과가 있었습니다.

저는 긍정적인 AI의 미래를 위해 오픈 소스가 필요하다고 믿습니다. AI는 인간의 생산성, 창의성, 삶의 질을 향상시키고 경제 성장을 가속화하는 동시에 의학, 과학 연구의 진보를 이끌어낼 수 있습니다. 그 어떤 현대 기술보다 더 많은 잠재력을 가지고 있습니다. 오픈소스는 전 세계 더 많은 사람들이 AI의 혜택과 기회에 접근할 수 있도록 하고, 소수의 기업에 권력이 집중되지 않도록 하며, 사회 전반에 걸쳐 기술이 보다 균등하고 안전하게 배포될 수 있도록 할 것입니다.

오픈 소스 AI 모델의 안전성에 대한 논쟁이 계속되고 있는데, 저는 오픈 소스 AI가 다른 대안보다 더 안전할 것이라고 생각합니다. 오픈 소스가 세상을 더 풍요롭고 안전하게 만들 것이기 때문에 정부도 오픈 소스를 지원하는 것이 이익이라는 결론을 내릴 것으로 생각합니다.

안전을 이해하기 위한 저의 프레임워크는 의도하지 않은 피해와 의도적인 피해라는 두 가지 범주의 피해로부터 보호해야 한다는 것입니다. 의도하지 않은 피해는 AI 시스템을 운영하는 사람이 의도하지 않았음에도 불구하고 AI 시스템이 피해를 입힐 수 있는 경우입니다. 예를 들어, 최신 AI 모델은 실수로 건강에 좋지 않은 조언을 제공할 수 있습니다. 또는 미래 시나리오에서 모델이 의도치 않게 자기 복제를 하거나 목표를 과도하게 최적화해 인류를 해칠 수 있다고 우려하는 사람들도 있습니다. 의도적 해악은 악의적인 행위자가 해를 끼칠 목적으로 AI 모델을 악용하는 경우입니다.

의도하지 않은 피해는 AI 시스템을 사용하게 될 수십억 명의 사람들에게 미칠 영향부터 인류에게 재앙적인 공상과학 시나리오에 이르기까지 사람들이 AI에 대해 우려하는 대부분의 문제를 포괄한다는 점에 주목할 필요가 있습니다. 이러한 측면에서 오픈 소스는 시스템이 더 투명하고, 광범위하게 조사할 수 있기 때문에 훨씬 더 안전할 것입니다. 역사적으로 오픈 소스 소프트웨어는 이러한 이유로 더 안전했습니다. 마찬가지로 라마 가드(Llama Guard)와 같은 안전 시스템과 함께 라마를 사용하는 것은 폐쇄형 모델보다 더 안전할 가능성이 높습니다. 이런 이유로 오픈 소스 AI 안전에 관한 대부분의 논의는 고의적인 피해에 초점을 맞추고 있습니다.

우리의 안전 프로세스에는 모델 출시 전 위험을 완화하기 위해 엄격한 테스트와 레드팀 테스트를 통해 모델이 의미 있는 피해를 입힐 수 있는지 평가하는 과정이 포함돼 있습니다. 모델이 공개돼 있으므로 누구나 직접 테스트할 수 있습니다. 이 모델들은 이미 인터넷에 있는 정보에 의해 학습된 것이므로 피해를 고려할 때는 구글이나 다른 검색 결과에서 빠르게 검색할 수 있는 정보보다 더 많은 피해를 유발할 수 있는지 여부가 출발점이 돼야 한다는 점을 염두에 둬야 합니다.

의도적인 피해에 대해 추론할 때는 개인 또는 소규모 행위자가 할 수 있는 일과 방대한 자원을 가진 국가와 같은 대규모 행위자가 할 수 있는 일을 구분하는 것이 도움이 됩니다.

미래의 어느 시점에는 개별 악의적 행위자가 AI 모델의 지능을 이용해 인터넷에 있는 정보로 완전히 새로운 피해를 조작할 수 있을 것입니다. 이 시점에서는 힘의 균형이 AI 안전에 매우 중요할 것입니다. 저는 AI가 널리 보급돼 큰 행위자가 작은 악의적 행위자의 힘을 견제할 수 있는 세상에 사는 것이 더 나을 것이라고 생각합니다. 이것이 바로 메타가 소셜 네트워크에서 보안을 관리하는 방식입니다. 더 강력한 AI 시스템이 소규모 AI 시스템을 사용하는 덜 정교한 행위자들의 위협을 식별하고 차단합니다. 더 넓게 보면, 대규모로 AI를 배포하는 대규모 기관은 사회 전반의 보안과 안정성을 증진할 것입니다. 모든 사람이 오픈 소스가 장려하는 유사한 세대의 모델에 접근할 수 있는 한, 더 많은 컴퓨팅 자원을 보유한 정부와 기관은 더 적은 컴퓨팅 자원을 가진 악의적인 행위자를 확인할 수 있습니다.

다음 질문은 미국과 민주주의 국가들이 중국과 같은 막대한 자원을 가진 국가의 위협에 어떻게 대처해야 하는가입니다. 미국의 장점은 탈중앙화 및 개방형 혁신입니다. 어떤 사람들은 중국의 접근을 막기 위해 우리 모델을 막아야 한다고 주장하지만, 제 생각에는 이는 효과가 없을 뿐 아니라 미국과 동맹국에게만 불이익을 줄 뿐입니다. 우리의 적들은 스파이 활동에 능숙하며 USB에 들어가는 모델을 훔치는 것은 비교적 쉽습니다. 대부분의 기술 회사는 이를 더 어렵게 만드는 방식으로 운영되지 않습니다. 폐쇄적인 모델만 존재하는 세상에서는 소수의 대기업과 지정학적 적대국만이 선도적인 모델에 접근할 수 있는 반면 스타트업, 대학, 중소기업은 기회를 놓치게 될 가능성이 높습니다. 또한 미국의 혁신을 폐쇄적인 개발로 제한하면 우리가 전혀 주도하지 못할 가능성이 높아집니다. 대신 강력한 개방형 생태계를 구축하고, 선도 기업들이 우리 정부 및 동맹국들과 긴밀히 협력해 최신 기술을 최대한 활용하고, 장기적으로 지속 가능한 우위를 확보할 수 있도록 하는 것이 최선의 전략이라고 생각합니다.

앞으로 다가올 기회를 고려할 때, 오늘날의 선도적인 기술 기업과 과학 연구의 대부분은 오픈 소스 소프트웨어를 기반으로 하고 있다는 사실을 기억하세요. 우리가 함께 투자한다면 차세대 기업과 연구는 오픈 소스 AI를 사용할 것입니다. 여기에는 이제 막 출발한 스타트업은 물론 최첨단 AI를 처음부터 자체적으로 개발할 자원이 없는 대학과 국가도 포함됩니다.

결론은 오픈 소스 AI가 이 기술을 활용해 모두에게 가장 큰 경제적 기회와 보안을 창출할 세계 최고의 시도(shot)라는 것입니다.

과거 라마 모델은 우리를 위해 개발한 후 출시한 것으로 더 광범위한 생태계 구축에는 크게 집중하지 않았습니다. 이번 출시에서는 다른 접근 방식을 취하고 있습니다. 최대한 많은 개발자와 파트너가 라마를 사용할 수 있도록 내부적으로 팀을 구성하고 있으며 생태계의 더 많은 기업이 고객에게 고유한 기능을 제공할 수 있도록 적극적으로 파트너십을 구축하고 있습니다.

라마 3.1 출시는 대부분의 개발자가 오픈 소스를 주로 사용하기 시작하는 업계의 변곡점이 될 것이며 앞으로 이런 접근 방식이 더욱 발전할 것으로 예상합니다. 전 세계 모든 사람에게 AI의 혜택을 제공하기 위한 이 여정에 여러분도 함께해 주시길 바랍니다.

모델은 지금 llama.meta.com에서 이용할 수 있습니다.

💪, 

마크 저커버그