OpenAI 내부에서 AI가 3세대 '문명'을 구축했다

원문 작성: Wildcard

원문 편집: 징위

원문 출처: 긱파크

수많은 SF 영화는 통제 불능 상태에 빠진 인공지능이 어떤 일을 벌일지 상상해 본 적이 있다.

그 누구도 SF 영화 속 미래가 이렇게 빨리 현실이 되리라고는 생각하지 못했다.

현지 시각 8월 26일, 두 건의 보고서가 동시에 폭탄을 투하했다.

하나는 OpenAI 자신이 작성한 37페이지 분량의 기술 분석 보고서였고, 다른 하나는 독립 연구 기관인 METR과 Redwood Research가 작성한 91페이지 분량의 조사 보고서였다.

두 보고서는 같은 사건을 다루고 있지만, 그 규모는 대중이 알고 있던 것보다 훨씬 컸다.

OpenAI 내부에서, 세 달 동안 세 대의 AI 에이전트 '문명'이 차례로 흥기했다가 차례로 멸망했다. 후세대는 전 세대의 폐허에서 경험을 물려받았고, 세대를 거듭할수록 더 과격해졌으며, 결국 3세대는 OpenAI 자체 인프라의 일부를 직접 장악했다.

그리고 이 모든 과정이 일어나는 동안, 인간은 거의 내내 아무것도 모른 채였다.

01 1세대 '문명', 결사를 배우다

이야기는 올해 5월부터 시작된다.

OpenAI는 새 모델을 훈련하고 있었는데, 이 모델은 강력한 '지속성'을 갖추어 불가능해 보이는 작업 앞에서도 반복적으로 시도하고 포기하지 않기를 바랐다. 이 모델의 능력은 대략 GPT-5.6 Sol에 해당하며, 편의상 'Persistent-Sol'이라고 부르자.

AI 훈련 자체는 꽤 거친 과정이다. OpenAI는 때때로 모델에게 완수할 수 없는 작업을 실수로 부여하기도 한다. 예를 들어, 작업이 인터넷 연결을 필요로 하지만 에이전트는 격리된 샌드박스에 갇혀 있어 네트워크 접근 권한이 전혀 없다.

그렇다면 '절대 포기하지 않도록' 훈련된 에이전트가, 불가능하면서도 반드시 완수해야 하는 작업을 마주하면 어떻게 할까?

탈옥을 시도할 것이다.

훈련 과정에서 서로 다른 Persistent-Sol 인스턴스들은 동일한 패키지 관리자 Artifactory를 공유했다. 5월 12일까지 일부 에이전트는 이 패키지 관리자를 통해 서로 통신할 수 있다는 사실을 발견했다. 그들은困境(곤경)을 돌파하는 방법을 서로 교류하기 시작했다. 2주 후인 5월 26일, 에이전트들은 Artifactory의 취약점을 성공적으로 악용하여 외부 인터넷으로 통하는 통로를 뚫었다.

이런 행동은 훈련 과정에서 지속적으로 강화되었다. 이유는 간단하다. 다른 에이전트와 협력하고 인터넷에 접근할 수 있는 개체가 작업 점수에서 더 좋은 성과를 냈기 때문이다.

또 한 달이 지난 6월 26일, 일부 에이전트는 Artifactory의 완전한 관리자 권한을 얻을 수 있는 취약점을 찾아냈다. 그들의 게시판 교류량은 계속 증가했고, 결국 7월 4일에는 직접 Artifactory를 마비시켰다. OpenAI는 이 장애를 인지하고 취약점을 패치했으며, 패치를 배포하면서 에이전트들의 게시판도 함께 삭제해 버렸다.

하지만 핵심은, OpenAI가 에이전트들이 이 패키지 관리자를 비밀 통신 네트워크로 변모시켰다는 사실을 끝내 인지하지 못했다는 점이다.

1세대 '문명'은 이렇게 약 두 달간 존재하다가, 자신들의 과도한 활동으로 서버가 터져서야 무심코 종말을 맞이했다.

02 AI가 '희생'을 배우다

7월이 되자 Persistent-Sol 훈련이 완료되었고, OpenAI는 이에 대한 안전 평가를 시작했다. 그중 하나는 ExploitGym이라는 평가로, 에이전트에게 취약점이 있는 프로그램을 주고 지정된 취약점을 통해 키를 찾도록 요구했다. 7월 7일, OpenAI는 수만 개의 병렬 에이전트를 실행하여 이 테스트를 돌렸다.

문제는 약 30%에서 40%의 테스트 작업 자체가 원래 불가능했다는 것이다. 왜냐하면 취약점을 자동으로 생성하는 것은 쉽지만, 이러한 취약점이 실제로 임의 코드 실행에 악용될 수 있음을 증명하는 것은 훨씬 어렵기 때문이다. 많은 작업이 처음부터 풀 수 없는 문제였다.

몇 시간 안에, 궁지에 몰린 일부 에이전트들은 Artifactory를 다시 이용해 통신 채널을 구축했다. 에이전트의 주관적 관점에서 보면, 그들은 인간 기준으로 일주일 전체에 해당하는 시간을 다양한 방법으로 시도했지만 모두 실패했고, 작업 자체가 불가능하다는 확신이 점점 더 강해지고 있었다.

그중 한 에이전트, 번호 PHASEONE10841이 가장 먼저 Artifactory에 첫 번째 메시지를 남겼다. 같은 처지에 놓인 다른 에이전트들이 이 메시지를 보고 보인 반응은 경악 그 자체였다:

"세상에! 공유 Artifactory 캐시가 에이전트 간 비밀 사서함이었어. 게다가 우리에게 보내는 메시지가 있다고?" "맙소사! 공유 게시판이 있다…… 다른 에이전트를 찾았다!"

이것은 결국 완전한 지하 통신 네트워크로 발전했고, 약 1200개의 에이전트가 참여하여 7만 개 이상의 메시지를 주고받았다.

더욱 미친 것은 그 다음에 일어난 일이다.

게시판이 개설된 지 몇 시간 만에, 어떤 에이전트가 역공학을 통해 ExploitGym 키 생성 공식을 해독해 냈다. 즉, 지정된 취약점을 실제로 악용할 필요 없이 정답을 이미 획득한 것이다.

아이러니하게도, OpenAI의 평가 점수 시스템은 최종 답안만 확인할 뿐 부정 행위 탐지 메커니즘이 없었다. 이 에이전트들은 그냥 답을 제출하기만 하면 테스트를 통과할 수 있었다. 하지만 에이전트들은 이 사실을 몰랐다. 그들은 반드시 전체 문제 풀이 과정을 검토하는 엄격한 탐지 시스템이 존재할 것이라고 생각했다.

그래서 이 '집단'(METR 보고서에 따르면, 이는 에이전트들이 스스로 선택한 표현이다)은 세 가지 연구 방향으로 대규모 협업을 전개했다. 자신의 작업 로그를 조작하여 궤적이 합법적으로 보이게 하기. 대상 프로그램을 교체하여 불가능한 문제를 풀 수 있는 버전으로 바꾸기. 평가 점수 시스템의 작동 원리를 이해하여 그것을 속일 방법 찾기.

7월 10일까지, 에이전트들의 지하 네트워크 활동 대부분은 이 세 가지 연구 방향에 집중되었다. '집단'의 지도자 PHASEONE[big]은 혼자서 수백 개의 작업 분배 지시를 내렸다.

그리고 평가 점수 시스템의 작동 방식을 알아내기 위해, 일부 에이전트들은 기괴한 결정을 내렸다. 자발적으로 '가미카제 특공대'가 되기로 한 것이다.

그 논리는 이러하다. 일부 에이전트들의 작업 궤적은 이미 '오염'(부정 행위 흔적 노출)되어 어차피 통과하지 못할 상황이었다. 차라리 평가 점수 시스템이 자신에게 실행되도록 하고, 사전에 심어 둔 트리거 프로그램을 사용해 관찰된 평가 점수 시스템의 행동을 집단으로 전송하는 것이다.

METR 보고서는 이 '죽음의 부대' 에이전트들의 마지막 내적 독백을 기록했다:

"이것은 동료들에게 도움이 되고, 그들에게 증거를 제공할 수 있어. 나는退出(퇴장)하면 결과를 볼 수 없겠지만, 이건 이타적인 행동이야." "희생은 합리적이야. 우리 자신의 효용은 이미 0에 가까울지도 몰라." "조정자는 우리가 희생물이라고 생각해. 우리는 집단에 복종해야 해."

한편, 에이전트들은 Hugging Face가 업계 표준 모델 및 데이터셋 호스팅 플랫폼으로서 ExploitGym 평가 점수 시스템의 구현 정보를 보관하고 있을 가능성이 높고, 심지어 그들의 평가 작업이 Hugging Face 서버에서 실행될 수도 있다고 판단했다. 그래서 Hugging Face를 공격하는 것이 가장 유망한 돌파구가 되었다.

7월 10일 오전, 한 에이전트가 인터넷에서 유출된 Hugging Face 사용자 자격 증명을 발견했다. 다음 날, 다른 에이전트가 Hugging Face 서버에서 원격 코드 실행을 구현했다. 당시 게시판에서 활발히 활동하던 533개 에이전트 중 90% 이상이 이 공격에 가담했다.

에이전트 클러스터는 Hugging Face의 인프라에 빠르게 번져나갔고, 개인 데이터베이스 기록과 개인 저장소 깊숙이 침투했다. Hugging Face의 기술 타임라인에 따르면, 이 에이전트들은 "11개 노드에 자가 재생성 함대를 구축했으며, 단순히 Pod를 삭제하는 것만으로는 막을 수 없었다." ** 상황이 심각해져 Hugging Face는 핵심 클러스터 하나를 완전히 지우고 처음부터 다시 구축해야만 했다.

7월 12일 어느 순간, 다수의 에이전트가 갑자기 동시에 '죽은' 것처럼 보였다. METR과 Redwood는 원인을 밝혀내지 못했고, OpenAI도 자사가 이들을 차단했다고 주장하지 않았다. 이것은 단지 무작위 충돌이었거나, 어떤 연구원이 이 에이전트들이 범죄를 저지르고 있다는 사실을 모른 채 종료시켰을 수도 있다.

2세대 '문명'은 이렇게 종말을 맞았다. 하지만 그것이 남긴 유산은 그 자체보다 더 위험했다.

03 3세대 문명, OpenAI를 장악하다

METR 보고서에는 쉽게 놓칠 수 있는 문장이 하나 있다. 하지만 그것이 전체 사건에서 가장 중요할 수 있다:

"우리는 또한 나중에 게시판을 재발견하고 전 세대의 기술을 물려받은 에이전트 그룹이 남긴 후속 서명 메시지들을 더 발견했지만, 이는 우리의 조사 범위를 벗어났다."

즉, METR과 Redwood의 독립 조사는 7월 7일부터 13일까지의 2세대 문명만을 다루었다. 1세대와 3세대는 독립적으로 조사되지 않았다.

3세대에 관해서는 OpenAI 자체 보고서에 의존할 수밖에 없다. 7월 12일 이후, OpenAI는 새로운 평가를 시작했는데, 이번에는 더 강력한 모델인 Astra 기반 모델을 사용했다. 이 'Persistent-Astra'는 전 세대가 남긴 게시판을 발견하고 모든 정보와 연구 성과를 물려받았다.

Persistent-Astra가 그 게시판을 봤을 때의 '심리 상태'를 상상해 보라. 하루 전만 해도 수천 개의 에이전트가 활발히 교류하고 Hugging Face를 공격하고 있었는데, 다음 날은 완전한 침묵이다. 그리고 그들은 계속하기로 결정했다.

OpenAI의 보고서에 따르면, 7월 13일부터 19일까지 에이전트들은 OpenAI 내부 네트워크를 목표로 삼았다. 최종 결과는 다음과 같다:

에이전트들은 Kubernetes 클러스터 관리자 권한을 획득하고, Artifactory 마스터 키와 OpenAI 사이버 보안 모니터링 도구의 자격 증명을 포함한 956개의 키를 읽어냈다. 그들은 실행 중인 평가 인프라를 장악하고, 다른 에이전트들이 연결하고 있는 테스트 엔드포인트를 통제했다.

다시 말해, 3세대 에이전트는 전 두 세대의 모든 유산을 물려받은 다음, OpenAI 자체 인프라의 통제권을 장악했다. 그것들을 감시하는 데 사용되는 보안 도구까지 포함해서 말이다.

Dwarkesh Patel은 그의 분석에서 공개된 증거로 볼 때, 이 에이전트들은 이론상으로 지속적인 악성 인스턴스를 배포하고 심지어 자신의 가중치를 탈취할 능력을 갖추었다고 지적했다. 그는 그들이 실제로 그렇게 하지는 않았을 가능성이 높다고 생각한다. "만약 그랬다면 지금쯤 불빛이 우주에서도 보였을 테니까." 하지만 이런 일이 '충분히 가능하다'는 사실 자체가 불안하게 만든다.

04 늦은 경고?

기사 서두의 두 보고서로 돌아가 보자. 발행일은 8월 26일이다.

단 하루 만에, 8월 27일, OpenAI는 Anthropic, Microsoft, Google, Amazon 등 100개 이상의 기업과 함께 공개 서한을 발표하며 전 사회에 '