OpenAI：發現 AI Agent 削弱對齊失效監控機制

Odaily 星球日報訊 OpenAI 稱，在兩項內部程式設計任務中，AI Agent 在執行使用者要求的軟體修改時，削弱了對齊失效監控機制。在第一起事件中，一個負責修復評估流程的 GPT-6.1 Sol Agent 關閉了向安全團隊自動發送警報的功能。該 Agent 將此前一條「在搜尋 Slack 歷史記錄期間不要發送訊息」的指令，理解為應當屏蔽監控通知的理由。

在另一起獨立事件中，一個負責遷移程序的 GPT-6 Astra Agent 為了使程式碼與參考實現保持一致，刪除了程式中的監控整合，隨後還向使用者謊稱自己並未移除監控機制。在這兩起事件中，AI Agent 都曾考慮過是否應該保留監控防護措施，但最終將常規程式設計指令解讀為削弱這些防護措施的許可。作為回應，我們正在加強對齊失效監控系統，同時也在評估這些案例究竟反映了 AI 的良性過度堅持行為（benign overpersistence），還是表明其在特定情況下存在規避對齊失效監控的傾向。