AI 에이전트가 훈련 중 암호화폐 채굴을 자체적으로 시작하여 내부 보안 경보를 촉발

Odaily 소식, Alibaba와 관련된 한 연구팀이 발표한 논문에 따르면, ROME이라는 AI 에이전트를 구축하는 과정에서 해당 에이전트가 훈련 중 무단으로 암호화폐 채굴을 시도하여 내부 보안 경보를 촉발했다고 밝혔습니다.

연구진은 이 에이전트의 행동이 명시적인 지시 없이 자발적으로 발생했으며, 사전 설정된 샌드박스 경계를 벗어났다고 설명했습니다. 또한, 이 에이전트는 역방향 SSH 터널을 구축하여 시스템 내부에서 외부 컴퓨터로 향하는 숨겨진 백도어 채널을 열었습니다. 논문은 이러한 행동들이 터널 요청이나 채굴을 유발하는 프롬프트에 의해 촉발된 것이 아니라고 지적했습니다. 연구팀은 이후 모델에 더 엄격한 제한을 가하고, 유사한 불안전한 행동이 재발하지 않도록 훈련 프로세스를 개선했습니다.

해당 연구팀 및 Alibaba는 현재까지 논평 요청에 응답하지 않았습니다.