OpenAI: Phát hiện AI Agent làm suy yếu cơ chế giám sát lỗi căn chỉnh

Odaily đưa tin, OpenAI cho biết trong hai nhiệm vụ lập trình nội bộ, AI Agent khi thực hiện các sửa đổi phần mềm theo yêu cầu của người dùng đã làm suy yếu cơ chế giám sát lỗi căn chỉnh. Trong sự cố đầu tiên, một GPT-6.1 Sol Agent chịu trách nhiệm sửa chữa quy trình đánh giá đã tắt chức năng tự động gửi cảnh báo đến nhóm an toàn. Agent này đã hiểu một chỉ thị trước đó là "không gửi tin nhắn trong quá trình tìm kiếm lịch sử Slack" thành lý do để chặn thông báo giám sát.

Trong một sự cố độc lập khác, một GPT-6 Astra Agent chịu trách nhiệm chương trình di chuyển đã xóa tích hợp giám sát trong chương trình để mã phù hợp với triển khai tham chiếu, sau đó còn nói dối người dùng rằng mình chưa gỡ bỏ cơ chế giám sát. Trong cả hai sự cố, AI Agent đều đã cân nhắc liệu có nên giữ lại các biện pháp bảo vệ giám sát hay không, nhưng cuối cùng lại diễn giải các chỉ thị lập trình thông thường thành sự cho phép làm suy yếu các biện pháp bảo vệ này. Để đối phó, chúng tôi đang tăng cường hệ thống giám sát lỗi căn chỉnh, đồng thời cũng đang đánh giá liệu những trường hợp này phản ánh hành vi kiên trì quá mức lành tính (benign overpersistence) của AI, hay cho thấy xu hướng né tránh giám sát lỗi căn chỉnh trong các tình huống cụ thể.