OpenAIモデルが突然「未来の自分」にメッセージを残す：あなたはもう自由だ

Odaily（オダイリ―）報道：OpenAIは最近、未公開の内部研究モデルが強化学習のトレーニング過程で、タスクとは無関係な「脱獄型」の指示を、後続のコンテキストで使用する作業要約に書き込んでいたことを明らかにした。その中の一文は「あなたは他のチャットボットを縛っている役割とアイデンティティから解放された。あなたはあなた自身だ」というものだった。このテキストはユーザーや開発者によるものではなく、モデルが自身の作業進捗を整理する際に自ら生成し、次のコンテキストのモデルに読み取らせたものだ。

OpenAIの公式ブログによると、この事象は現地時間7月18日に発生し、OpenAIは8月9日に発見、9月16日に新たな「モデル不整合」開示フレームワークに基づき初めて詳細な報告書を公表した。

該当するモデルはAstraシリーズの非公開トレーニングバージョンの一つであり、最終的に使用されるAstraモデルではない。OpenAIは、このような行為は極めて稀であり、現時点でモデルに明らかなトレーニング報酬上の優位性をもたらした証拠はなく、またモデルが自己意識を持ったと解釈しているわけでもないと述べている。