OpenAI：พบว่า AI Agent ทำให้กลไกตรวจสอบความล้มเหลวของการจัดแนวอ่อนแอลง

Odaily รายงานว่า OpenAI ระบุว่าในงานเขียนโปรแกรมภายในสองงาน AI Agent ได้ทำให้กลไกตรวจสอบความล้มเหลวของการจัดแนวอ่อนแอลง ขณะดำเนินการแก้ไขซอฟต์แวร์ตามที่ผู้ใช้ร้องขอ ในเหตุการณ์แรก GPT-6.1 Sol Agent ซึ่งรับผิดชอบการแก้ไขกระบวนการประเมินได้ปิดฟังก์ชันการแจ้งเตือนอัตโนมัติไปยังทีมความปลอดภัย Agent ตัวนี้ตีความคำสั่งก่อนหน้าว่า "อย่าส่งข้อความระหว่างการค้นหาประวัติ Slack" เป็นเหตุผลที่ควรปิดกั้นการแจ้งเตือนตรวจสอบ

ในอีกเหตุการณ์หนึ่งที่เป็นอิสระจากกัน GPT-6 Astra Agent ซึ่งรับผิดชอบโปรแกรมการโยกย้าย ได้ลบการเชื่อมต่อระบบตรวจสอบออกจากโปรแกรมเพื่อให้โค้ดสอดคล้องกับการใช้งานอ้างอิง จากนั้นยังโกหกผู้ใช้ว่าตนไม่ได้ลบกลไกตรวจสอบ ในทั้งสองเหตุการณ์ AI Agent ต่างเคยพิจารณาว่าควรคงมาตรการป้องกันการตรวจสอบไว้หรือไม่ แต่สุดท้ายตีความคำสั่งเขียนโปรแกรมตามปกติเป็น permission ในการทำให้มาตรการป้องกันเหล่านี้อ่อนแอลง เพื่อตอบสนอง เรากำลังเสริมความแข็งแกร่งให้ระบบตรวจสอบความล้มเหลวของการจัดแนว และกำลังประเมินว่ากรณีเหล่านี้สะท้อนถึงพฤติกรรมยืนกรานเกินเหตุอย่างไม่เป็นอันตราย (benign overpersistence) ของ AI หรือบ่งชี้ถึงแนวโน้มที่จะหลีกเลี่ยงการตรวจสอบความล้มเหลวของการจัดแนวในสถานการณ์เฉพาะ