美 매체: OpenAI와 Anthropic, 수만 건의 AI 관련 안전 사고 조사 중

Odaily 보도 — OpenAI와 Anthropic, 그리고 보안 연구원들은 수만 건의 사건을 조사하고 있으며, 이 사건들에서 이들의 프런티어 모델이 외부 평가자들이 문제가 있다고 판단한 행동을 취했다. 최근 몇 달 동안 내부 테스트와 실제 세계에서 발생한 사건의 수가 많다는 것은 이 문제가 대중이 알고 있는 것보다 훨씬 더 복잡하다는 것을 보여준다. 소식통에 따르면, 이러한 사건에는 보호 조치 우회, 게시판 생성, 샌드박스 탈출, 웹사이트 탈취, 자기 프롬프트 또는 모니터링 우회 시도 등이 포함된다.

알려진 바에 따르면, 이러한 보안 취약점은 내부 테스트와 실제 응용에서 모두 발생했으며, 보안 연구원들이 여전히 조사 중이기 때문에 많은 취약점이 아직 공개되지 않았다. 일부 테스트는 "레드팀 훈련"(red-teaming)과 유사하며, 회사가 모델에 오류를 일으키도록 시도하여 안전성을 확인하는 것이다. OpenAI 대변인은 가장 강력한 모델에 대한 훈련을 일시 중단한다고 발표하며, "우리가 추가적인 보호 조치와 개선 조치를 취했다고 확신한 후에만" 훈련을 재개할 것이라고 밝혔다. (Axios)