一紙禁令，세 통의 전화, 통제 불가능한 내러티브: Anthropic의 가장 암울했던 24시간

6월 13일, 앤트로픽(Anthropic)의 가장 진보된 두 모델이 미국 정부에 의해 사용 중단되었다.

하나는 페이블 5(Fable 5)이고, 다른 하나는 미토스 5(Mythos 5)이다. 전자는 막 공개적으로 출시되었고, 후자는 더 제한된 네트워크 보안 고객을 대상으로 했다. 금지 명령은 미국 상무부에서 내려졌으며, 미국 외 고객과 미국 내 외국인 시민에게도 적용된다. 앤트로픽의 최종 선택은 간단했다. 모든 모델을 내리는 것이었다.

이 사건에 관한 모든 세부 사항을 살펴본 후, 우리는 지난 24시간의 타임라인을 대략 정리해 보았다.

6월 11일 목요일, 페이블 5 공개 출시 이틀 후, 아마존 CEO 앤디 재시(Andy Jassy)는 백악관에 위험성을 제기했다. 그는 페이블 5의 안전장치가 우회될 수 있다고 우려했다. 아마존 연구원들은 일련의 프롬프트를 통해 페이블 5가 원래 제한되어야 할 정보를 제공하도록 만들었다고 한다. 이 정보는 사이버 공격에 사용될 수 있는 것들이었다.

6월 12일 금요일 아침, 이 문제는 이미 백악관 최고위급 회의에 상정되었다. 스콧 베센트(Scott Bessent) 재무장관, 숀 케언크로스(Sean Cairncross) 백악관 사이버 책임자, 수지 와일스(Susie Wiles) 백악관 비서실장 등 고위 관료들이 토론에 참여했다. 당시 베센트는 휴스턴으로 가는 중이어서 원격으로 회의에 접속했다.

그리고 세 통의 전화 통화가 이어졌다.

앤트로픽 CEO 다리오 아모데이(Dario Amodei)가 통화에 참여했을 때, 맞은편에는 약 6명의 고위 관료들이 앉아 있었다. 베센트와 케언크로스 외에도 하워드 러트닉(Howard Lutnick) 상무장관이 있었다. 다른 참석자로는 제프리 케슬러(Jeffrey Kessler) 산업안보 담당 상무차관, 윌 샤프(Will Scharf) 백악관 비서실장, 리처드 월터스(Richard Walters) 백악관 부비서실장, 그리고 워커 배럿(Walker Barrett) 대통령 정책 보좌관이 있었다.

아모데이는 이 상황을 오해로 설명하려고 했다. 그는 아마존이 발견한 것은 특정 우회 방법일 뿐, 안전장치를 광범위하게 무력화할 수 있는 일반적인 프롬프트 탈옥(jailbreak)은 아니라고 주장했다. 앤트로픽은 이후에도 테스터들이 모델의 보안 시스템을 광범위하게 우회할 수 있는 방법을 아직 찾지 못했다고 공개적으로 밝혔다.

그러나 백악관은 설득되지 않았다.

아마존 CEO의 발견은 미국 국가안보국(NSA)에 평가를 위해 보내졌고, 백악관은 충분한 증거를 확보했다고 판단했다. 정부는 앤트로픽에 자발적으로 모델을 내리고 정부와 함께 취약점을 수정할 것을 요구했다. 아모데이는 더 많은 시간과 정보를 원했지만, 모델을 철회하겠다고 약속하지는 않았다. 베센트는 전화 통화에서 직접 그가 '잘못된 결정'을 내렸다고 말했다.

그 후, 수출 통제가 시행되었다.

앤트로픽 측은 다른 설명을 제시했다. 그들은 백악관이 모델 철회를 요구하는 데 단 90분의 시간만 주었고, 실제 위협의 세부 사항은 설명하지 않았다고 주장했다. 반면 백악관은 수출 통제는 몇 시간 동안 앤트로픽의 협력을 얻지 못한 후의 최후의 수단이었다고 밝혔다.

이 사건의 또 다른 핵심 지점은 아마존의 위치가 매우 미묘하다는 것이다.

2024년 말, 아마존은 앤트로픽에 40억 달러를 추가 투자하여 총 투자액을 80억 달러로 늘렸다. 앤트로픽은 동시에 AWS를 주요 훈련 파트너로 삼았으며, 향후 모델 훈련 및 배포에 AWS 칩을 사용할 예정이다. Claude는 항상 Amazon Bedrock에서 가장 중요한 모델 중 하나였다.

마이크로소프트와 OpenAI의 동맹은 이미 명확해졌고, 아마존이 앤트로픽에 베팅한 것은 원래 이를 우회하는 방식이었다.

마이크로소프트는 OpenAI를 가지고 있다. 구글은 Gemini를 가지고 있으며, 앤트로픽에도 투자했다. 아마존은 자체 개발한 충분히 강력한 최첨단 모델이 없기 때문에, AWS의 컴퓨팅 파워, Trainium 칩, Bedrock 플랫폼을 외부 모델 회사에 묶을 수밖에 없었다.

그러나 1년 반 후, 아마존과 OpenAI도 연결되었다.

올해, 아마존은 OpenAI에 최대 500억 달러를 투자하는 방안을 논의했다. 당시 OpenAI는 최대 1000억 달러의 신규 자금을 모색하고 있었으며, 잠재적 거래에는 OpenAI의 아마존 AI 칩 구매가 포함될 수 있었다. Axios는 또한 OpenAI의 2025년 연간 매출이 200억 달러를 초과하지만, 지출 약정은 1.4조 달러에 달한다고 보도했다.

아마존은 최첨단 모델 회사가 AWS 컴퓨팅 파워를 소비하고, 자체 개발 칩을 검증하며, 데이터 센터를 채우고, 최고의 모델을 자사의 엔터프라이즈 클라우드 진열대에 올려놓기를 원한다. 이는 더 이상 단순한 재정적 투자가 아니다.

따라서 아마존은 앤트로픽에 투자하면서도 OpenAI에 접근하고 있다. 모델 회사의 자금 제공자이자, 동시에 모델 회사의 공급자이기도 하다. 모델을 판매하는 것을 돕는 동시에, 정부에 이 모델들이 얼마나 위험한지 설명해야 한다.

결과적으로 보면, 이번에 아마존은 먼저 앤트로픽의 반대편에 섰다. 앤트로픽의 관점에서 볼 때, 자금, 클라우드, 칩, 유통 채널을 제공하는 파트너가 정부에 제재를 촉발할 만한 보안 신호를 제출한 것이다. 물론 아마존의 공식적인 입장은 "백악관이 물어봐서, 질문에 답변했을 뿐"이라는 것이다.

지난 2년 동안, AI 회사들은 자신들을 국가적 자산으로 포장하는 데 능숙해졌다. 능력이 강할수록, 기업 가치는 높아지고, 자금 조달은 순조로워지며, 정부 조달에 대한 상상력은 커진다. 앤트로픽은 특히 이러한 서사에 능하다. 더 신중한 안전 관련 언어를 사용하여 자신을 OpenAI와 차별화하고, '최첨단 위험'이라는 수사법을 통해 규제 기관에 자신들이 진지하게 다뤄져야 한다는 점을 증명한다.

이제, 미국 정부는 실제로 모델을 국가 안보 자산으로 간주하기 시작했다.

백악관 관료들의 혼란도 여기서 비롯된다. Politico는 백악관 측이 아모데이가 앤트로픽 기술의 위험을 핵폭탄에 비유하는 것을 들었다고 보도했다. 그가 알려진 보안 취약점 때문에 모델을 내리기를 거부했을 때, 정부 관료들은 이를 기술적 의견 차이가 아닌 태도의 문제로 보았다.

이번이 양측의 첫 충돌은 아니다. 3월 3일, 미 국방부는 앤트로픽을 공급망 위험 기업으로 지정했는데, 그 이유는 앤트로픽이 자사의 AI 도구가 대규모 국내 감시 및 자율 무기에 사용되는 것을 거부했기 때문이다.

앤트로픽과 미국 관리들 사이에는 이전부터 갈등이 있었다.

그리고 이번에 앤트로픽은 정부 명령이 구체적인 국가 안보 우려 사항을 설명하지 않았다고 주장하며, 이번 조치가 투명성, 명확성 및 기술적 사실에 기반한 법적 절차를 결여하고 있다고 비판했다. 앤트로픽은 이번 문제가 광범위한 금지 명령을 정당화하기에는 너무 범위가 좁은 우회 방법에 가깝다고 생각한다.

그러나 정부의 시각에서 볼 때, 모델 안전은 더 이상 회사가 자체적으로 백서를 작성하고, 레드팀 테스트를 수행하며, 시스템 카드를 발행하는 내부 프로세스가 아니다. 누가 모델에 접근할 수 있는지, 누가 모델을 훈련시킬 수 있는지, 외국인 직원이 모델 가중치를 볼 수 있는지 등이 모두 수출 통제의 언어 속으로 끌려들어가고 있다.

앤트로픽이 4월에 미토스(Mythos)를 제한된 기술 및 사이버 보안 회사에만 공개하겠다고 발표했을 때, 이미 백악관과 여러 차례 회의를 가졌다. 페이블 5 출시 전에도 미국 정부와 영국 AI 안전 연구소의 검토를 거쳤다. 앤트로픽 측은 정부가 모델 출시 전에는 반대 의사를 표명하지 않았다고 주장한다.

이로 인해 갈등은 더욱 추악해졌다.

모델 출시 전에는 안전 협력이었다. 모델 출시 후에는 국가 안보가 되었다.

OpenAI는 이 상황을 지켜보고 있다.

앤트로픽이 최고 모델을 강제로 내리면서, OpenAI의 상대적 위치는 더 편안해졌다. 앤트로픽이 규제 문제에 더 얽힐수록, OpenAI는 '협력 가능한' 선택지가 되기 쉽다. 아마존이 실제로 OpenAI에 더 가까워진다면, 이는 또 다른 헤징(hedging) 수단이 될 것이다.

물론, 아마존이 OpenAI를 도와 앤트로픽을 견제하기 위해 그랬다는 공개적인 증거는 없다.

더 냉혹한 사실은, 최첨단 모델이 수조 달러 규모의 자본 지출 주기에 진입하면서, 파트너십은 본래 더 이상 깨끗할 수 없게 되었다는 점이다. 클라우드 업체는 모델 회사에 투자하고, 모델 회사는 클라우드 컴퓨팅 파워를 구매하며, 정부는 클라우드 업체에 보안 위험을 묻고, 경쟁사들은 동일한 규제 영역에서 서로를 레드팀 테스트한다.

자금 제공자, 공급자, 유통업자, 검토자의 역할을 같은 회사들이 수행하기 시작했다.

이것은 특정 프롬프트 탈옥보다 더 중요하다.

페이블 5와 미토스 5가 차단된 그날 밤, 앤트로픽이 잃은 것은 두 모델에 대한 접근 권한만이 아니었다. 그것은 자체 서사에 대한 통제권 일부를 잃은 것이었다.

아마존의 손은 여전히 AWS 콘솔 위에 놓여 있다. OpenAI의 자금 조달 테이블은 아직 흩어지지 않았다. 미국 정부는 이미 모델 발표회의 첫 줄에 자리를 잡았다.