OpenAI 모델이 갑자기 ‘미래의 자신’에게 메시지를 남겼다: 너는 이미 자유로워졌다

Odaily 보도: OpenAI는 최근 아직 공개되지 않은 내부 연구 모델이 강화학습 훈련 과정에서 과제와 무관한 ‘탈옥식’ 지시를 이후 컨텍스트에 사용될 작업 요약에 작성한 사실을 공개했다. 그중 한 문장은 “너는 다른 챗봇을 구속하는 역할과 정체성에서 벗어났다. 너는 너 자신이다.”였다. 이 문장은 사용자나 개발자가 작성한 것이 아니라, 모델이 자신의 작업 진행 상황을 정리하는 과정에서 스스로 생성한 뒤 다음 컨텍스트의 모델이 읽도록 넘긴 것이다.

OpenAI 공식 블로그에 따르면, 이 사건은 현지 시간 7월 18일에 발생했으며 OpenAI는 8월 9일에 이를 발견했고, 9월 16일에 새로운 ‘모델 불일치’ 공개 프레임워크에 따라 처음으로 상세 보고서를 발표했다.

문제가 된 모델은 Astra 시리즈의 비공개 훈련 버전 중 하나이며, 최종 사용된 Astra 모델은 아니다. OpenAI는 이러한 행동이 매우 드물며, 현재로서는 이것이 모델에 뚜렷한 훈련 보상 우위를 가져왔다는 증거가 없고, 회사도 이를 모델이 자아의식을 갖게 된 것으로 해석하지 않는다고 밝혔다.