マイクロソフトCEO：超知能時代には「制御可能な」アーキテクチャの構築が必要、責任をAIに外注してはならない

Odaily報道　Microsoft CEO Satya Nadella氏は長文を公開し、超知能（Super Intelligence）システムの発展に伴い、業界はAIの信頼アーキテクチャを再検討する必要があり、モデル提供者の約束に単純に依存することも、AIの行為がもたらす責任を外注することもできないと述べた。

Nadella氏は、過去数十年にわたり従来のソフトウェアシステムが各業界に展開されてきた際、開発者は通常、行為に対応する具体的なコードパスを追跡できたと述べた。しかし現在のフロンティアAIモデルの能力は従来のソフトウェアシステムを超えているものの、モデルの出力を具体的なトレーニングデータやモデルの重み設定に明確に帰属させることはできない。企業は自律的な行動能力を持つAIシステムを機密データに接続し、重要なタスクを実行する権限を与えているため、可観測性、テスト可能性、制御可能性を備えたシステムを構築し、「知能の供給」と「権限の制御」を分離する必要がある。

Nadella氏は、エンジニアリング手法を用いて超知能をガバナンスすべきであり、決定論的なシステム設計、人的制御、運用プロセスを通じて非決定論的モデルを制約し、AIシステムを潜在的な「内部リスク」として管理すべきだと提案した。これには権限の制限、行為の記録、隔離境界の構築などが含まれる。また、超知能システムはマルチモデル協調、全行程の可観測性、継続的な検証、独立した制御、独立した監査、リスク隔離、インシデント開示などの原則に従うべきだと述べた。中でも、モデルの思考連鎖（CoT）の透明性は基本要件であると強調したが、CoTの透明性だけでは不十分である。なぜなら、モデルの出力自体が依然として信頼性の高い解釈可能性を欠く可能性があるからだ。

Nadella氏は最後に、将来最も信頼に値する超知能システムとは、「最も信頼に値するモデル」ではなく、「モデルを完全には信頼しなくても、なお安全に運用できるシステム」であると述べた。