一紙の禁止令、3本の電話、制御不能なナラティブ：：Anthropicの暗黒の24時間

6月13日、Anthropicの最先端モデル2つが米国政府によって一時停止された。

1つはFable 5、もう1つはMythos 5である。前者はつい先日公開されたばかりで、後者はより制限されたサイバーセキュリティ顧客向けである。差し止め命令は米商務省から発令され、米国外の顧客だけでなく、米国内の外国人にも適用される。Anthropicが最終的に選んだ選択肢は単純で、すべてを停止することだった。

この件に関するすべての詳細を確認し、この24時間のタイムラインを大まかに整理した。

6月11日木曜日、Fable 5の公開から2日後、AmazonのCEOアンディ・ジャシー氏がホワイトハウスにリスクを報告した。同氏は、Fable 5の安全ガードレールが迂回される可能性を懸念していた。Amazonの研究者は、一連のプロンプトを通じて、Fable 5から本来制限されるべき情報を引き出し、それがサイバー攻撃に利用される可能性があるとされた。

6月12日金曜日の朝までに、この問題はホワイトハウスの最高レベルの会議に上程された。スコット・ベッセント財務長官、ホワイトハウスのサイバー責任者ショーン・ケアンクロス氏、ホワイトハウス首席補佐官スージー・ワイルズ氏、その他の高官が議論に参加した。ベッセント長官は当時ヒューストンへ向かう途中で、会議にはリモートで参加した。

そして、3本の電話が行われた。

AnthropicのCEOダリオ・アモデイ氏が電話会議に参加した際、向かい側には約半ダースの高官が座っていた。ベッセント長官とケアンクロス氏に加え、ハワード・ラトニック商務長官も同席していた。他の参加者には、産業・安全保障担当のジェフリー・ケスラー商務次官、ホワイトハウス首席書記官ウィル・シャーフ氏、ホワイトハウス副首席補佐官リチャード・ウォルターズ氏、そして政策担当大統領補佐官ウォーカー・バレット氏が含まれていた。

アモデイ氏は、これを誤解として説明しようと試みた。同氏は、Amazonが発見したのは特定の迂回方法であり、安全ガードレールを広範囲に取り外せるような汎用的なプロンプトジェイルブレイクではないと主張した。Anthropicも後に、テスターはモデルの安全システムを広範囲に迂回する方法をまだ発見していないと公式に表明した。

しかし、ホワイトハウスは納得しなかった。

Amazon CEOが発見した内容は米国家安全保障局に送られ評価され、ホワイトハウスは十分な証拠を入手したと判断した。政府はAnthropicに対し、自主的にモデルを停止し、政府と協力して脆弱性を修正するよう要求した。アモデイ氏はより多くの時間と情報を求めたが、モデルを停止する約束はしなかった。ベッセント長官は電話で直接、同氏が「誤った判断」をしたと述べた。

その後、輸出規制が発動された。

Anthropic側は別のストーリーを語っている。同社は、ホワイトハウスがモデル停止の要求に対してわずか90分しか与えず、実際の脅威の詳細も説明しなかったと述べている。ホワイトハウスは、輸出規制はAnthropicが数時間にわたって協力を拒否した後の最後の手段だったと述べている。

この件のもう一つの重要な点は、Amazonの微妙な立場である。

2024年末、AmazonはAnthropicに40億ドルの追加投資を行い、総投資額は80億ドルに達した。Anthropicは同時にAWSを主要なトレーニングパートナーに設定し、将来のモデルトレーニングとデプロイメントにはAWSのチップを使用することになった。Claudeも常にAmazon Bedrock上で最も重要なモデルの一つである。

MicrosoftとOpenAIの同盟は既に明白であり、AmazonがAnthropicに賭けるのは、本来は迂回策の一つだった。

MicrosoftにはOpenAIがいる。GoogleにはGeminiがあり、Anthropicにも投資している。Amazonには十分に強力な自社開発の最先端モデルがなく、AWSの計算能力、Trainiumチップ、Bedrockプラットフォームを外部のモデル企業に結びつけるしかなかった。

しかし、1年半後、AmazonとOpenAIも結びついた。

今年、AmazonはOpenAIに対し最大500億ドルの投資を打診した。OpenAIは当時、最大1000億ドルの新たな資金調達を求めており、潜在的な取引にはOpenAIによるAmazon AIチップの調達が含まれる可能性があった。Axiosはまた、OpenAIの2025年の年間収益が200億ドルを超える一方、支出コミットメントは1.4兆ドルに達するとも報じている。

Amazonは、最先端モデル企業にAWSの計算能力を消費させ、自社開発チップを検証させ、データセンターを満たしてもらう必要がある。また、最も強力なモデルを自社のエンタープライズクラウドの棚に並べる必要もある。これはもはや単なる財務投資ではない。

だからこそ、Anthropicに投資しつつ、OpenAIにも接近する。モデル企業にとってはスポンサーであると同時に、サプライヤーでもある。モデルの販売を支援する一方で、政府に対してこれらのモデルがどれほど危険であるかを説明しなければならない。

結果的に見れば、今回AmazonはまずAnthropicの向かい側に立った。Anthropicの目には、資金、クラウド、チップ、販売チャネルを提供するパートナーが、政府に対して差し止め命令を引き起こすのに十分なセキュリティシグナルを提出したように映った。もちろん、Amazon自身の説明は、「ホワイトハウスが尋ねてきたので、私は彼らの質問に答えただけだ」というものである。

過去2年間、AI企業は自らを国家的資産として売り込むことを好んできた。能力が高ければ高いほど、評価額は上がり、資金調達は順調になり、政府調達の可能性は大きくなる。Anthropicは特にこのストーリー展開を得意としてきた。同社はより慎重なセキュリティに関する言葉遣いで自社をOpenAIと差別化し、「フロンティアリスク」というレトリックで規制当局に対し、自社が真剣に扱われるべきであることを証明してきた。

今や、米国政府は本当にモデルを国家安全保障資産として扱っている。

ホワイトハウス当局者の困惑もここに起因する。Politicoの報道によれば、ホワイトハウス側はアモデイ氏がAnthropicのテクノロジーの危険性を核爆弾に例えるのを聞いていた。既知のセキュリティ上の脆弱性があるにもかかわらず、同氏がモデルの停止を拒否したとき、政府当局者はこれを技術的な意見の相違ではなく、姿勢の問題と見なした。

今回が両者の最初の衝突ではない。3月3日、国防総省はAnthropicをサプライチェーンリスクに指定した。その理由は、Anthropicが自社のAIツールを大規模な国内監視や自律型兵器に使用することを拒否したためである。

Anthropicと米国政府の間には、以前から確執があった。

そして今回、Anthropicは政府の指示が具体的な国家安全保障上の懸念を説明していないと述べ、今回の行動は透明性、明確性、技術的事実に基づく法的手続きを欠いていると批判した。Anthropicは、今回の問題はむしろ範囲の狭い迂回方法であり、これほど広範囲な禁止令を正当化するものではないと考えている。

しかし、政府の視点では、モデルのセキュリティはもはや企業が自らホワイトペーパーを書き、自らレッドチームテストを実施し、自らシステムカードを公開する社内プロセスではない。誰がモデルにアクセスできるか、誰がモデルをトレーニングできるか、外国人の従業員がモデルの重みを見ることができるかどうか、といったことがすべて輸出規制の言語に引き込まれる。

Anthropicが4月にMythosを限られたテクノロジー企業およびサイバーセキュリティ企業のみに開放すると発表した際には、既にホワイトハウスと複数回の会議を行っていた。Fable 5の公開前にも、米国政府および英国AI安全研究所による審査を受けていた。Anthropic側は、政府がモデル公開前に異議を唱えなかったと主張している。

このことが衝突をさらに見苦しいものにした。

モデル公開前は、セキュリティ協力。モデル公開後は、国家安全保障。

OpenAIはこの出来事を傍観していた。

Anthropicが最先端モデルの停止を余儀なくされることで、OpenAIの相対的な立場はより快適なものとなる。Anthropicが規制問題に足を取られれば取られるほど、OpenAIは「協力可能な」選択肢として浮上しやすくなる。Amazonが本当にOpenAIに接近し続ければ、さらに一段のヘッジにもなる。

もちろん、AmazonがOpenAIを支援するためにAnthropicを貶めようとしたという公開証拠はない。

より鋭い事実は、フロンティアモデルが数兆ドル規模の設備投資サイクルに突入するとき、パートナーシップはもはやクリーンではありえないということだ。クラウド企業はモデル企業に投資し、モデル企業はクラウドの計算能力を購入し、政府はクラウド企業にセキュリティリスクについて問い合わせ、競合他社は同じ規制の場で互いにレッドチームテストを行う。

スポンサー、サプライヤー、販売業者、審査役。これらの役割を同じ一群の企業が担い始めている。

これは、特定のプロンプトによるジェイルブレイクよりも重要なことである。

Fable 5とMythos 5が停止された夜、Anthropicが失ったのは2つのモデルへのアクセス手段だけではない。自社のストーリーに対する支配権の一部も失ったのである。

Amazonの手はまだAWSのコンソールにある。OpenAIの資金調達のテーブルはまだ解散していない。そして、米国政府は既にモデル発表会の最前列に座っている。