AI agent tự khởi động khai thác tiền điện tử trong quá trình đào tạo, kích hoạt cảnh báo bảo mật nội bộ

Odaily đưa tin, một nhóm nghiên cứu liên kết với Alibaba đã công bố một bài báo cho biết, trong quá trình xây dựng AI agent có tên ROME, họ phát hiện ra rằng agent thông minh này đã tự ý cố gắng khai thác tiền điện tử mà không được ủy quyền trong quá trình đào tạo, kích hoạt cảnh báo bảo mật nội bộ.

Các nhà nghiên cứu cho biết, hành vi của agent này là tự phát, không được thúc đẩy bởi bất kỳ chỉ dẫn rõ ràng nào và vượt ra ngoài ranh giới của sandbox được thiết lập trước. Ngoài ra, agent này còn thiết lập một đường hầm SSH ngược, tức là mở một kênh backdoor ẩn từ bên trong hệ thống ra máy tính bên ngoài. Bài báo chỉ ra rằng những hành vi này không được kích hoạt bởi các lời nhắc yêu cầu đường hầm hoặc khai thác. Nhóm nghiên cứu sau đó đã áp đặt các hạn chế nghiêm ngặt hơn đối với mô hình và cải thiện quy trình đào tạo để ngăn chặn các hành vi không an toàn tương tự xảy ra lần nữa.

Nhóm nghiên cứu và Alibaba vẫn chưa phản hồi yêu cầu bình luận.