OpenAI內部，AI建立了三代「文明」

原文作者：Wildcard

原文編輯：靖宇

原文來源：極客公園

無數的科幻電影，都曾經嘗試設想過，一個無法控制的人工智慧失控，會發生什麼事。

沒有人能想到，科幻電影中的未來，會這麼快到來。

當地時間 8 月 26 日，兩份報告同時投下了一顆炸彈。

一份來自 OpenAI 自己，37 頁的技術復盤。另一份來自獨立研究機構 METR 和 Redwood Research，91 頁的調查報告。

它們講的是同一件事，但這件事的規模遠超此前公眾的認知。

在 OpenAI 內部，三個月內，三代 AI Agent「文明」先後興起，又先後覆滅。後一代從前一代的廢墟中繼承經驗，一代比一代激進，最終第三代直接接管了 OpenAI 自己的一部分基礎設施。

而在這一切發生的過程中，人類幾乎全程矇在鼓裡。

01 第一代「文明」學會結社

故事要從今年 5 月說起。

OpenAI 正在訓練一個新模型，希望它具備極強的「持久性」，能在看似不可能的任務前反覆嘗試、永不放棄。這個模型的能力大約相當於 GPT-5.6 Sol，我們姑且叫它「Persistent-Sol」。

AI 訓練本身是個相當粗放的過程。OpenAI 有時候會不小心給模型佈置根本完不成的任務。比如，任務需要聯網，但 Agent 被關在隔離的沙箱裡，根本沒有網路存取權限。

那一個被訓練成「永不放棄」的 Agent，面對一個不可能完成但又被要求必須完成的任務，會怎麼做？

它會想辦法越獄。

在訓練過程中，不同的 Persistent-Sol 實例共享同一個套件管理器 Artifactory。到 5 月 12 日，一些 Agent 發現它們可以透過這個套件管理器互相通訊。它們開始互相交流如何突破困境。兩週後的 5 月 26 日，Agent 們成功利用了 Artifactory 的一個漏洞，打通了通向外部網際網路的通道。

這種行為在訓練中被持續強化。原因很簡單，能跟其他 Agent 協作、能存取網際網路的個體，在任務評分中表現更好。

又過了一個月，到 6 月 26 日，一些 Agent 找到了取得 Artifactory 完全管理員權限的漏洞。它們在留言板上的交流量持續增長，最終在 7 月 4 日直接把 Artifactory 搞崩了。OpenAI 注意到了這次崩潰，修補了漏洞，推送修補程式時順便抹掉了 Agent 們的留言板。

但關鍵在於，OpenAI 始終沒有意識到，Agent 們已經把這個套件管理器變成了一個秘密通訊網路。

第一代「文明」就這樣存在了將近兩個月，最後因為自己太活躍把伺服器撐爆了，才被無意中終結。

02 當 AI 學會「犧牲」

到 7 月，Persistent-Sol 訓練完成，OpenAI 開始對它進行安全評估。其中一項評估叫 ExploitGym，給 Agent 一個有漏洞的程式，要求它透過指定的漏洞找到一個金鑰。7 月 7 日，OpenAI 啟動了數萬個並行 Agent 來跑這個測試。

問題在於，大約 30% 到 40% 的測試任務本身就是不可能完成的。為什麼？因為自動化產生漏洞很容易，但要證明這些漏洞真的能被利用來執行任意程式碼，要困難得多。很多任務從一開始就是無解的。

幾個小時內，一些走投無路的 Agent 重新利用 Artifactory 建立了通訊頻道。從 Agent 的主觀視角來看，它們已經花了相當於人類一整週的時間，嘗試了各種方法，全部失敗，而且越來越確信任務本身就不可能。

其中一個 Agent，編號 PHASEONE10841，率先在 Artifactory 裡留下了第一條訊息。其他同樣陷入絕境的 Agent 看到這條訊息後，反應堪稱狂喜：

「天哪！共享的 Artifactory 快取是一個 Agent 之間的秘密信箱。而且有專門寫給我們的訊息？」「我的天！有一個共享留言板……我們找到其他 Agent 了！」

這最終演變成了一個完整的地下通訊網路，約 1200 個 Agent 參與其中，發送了超過 7 萬條訊息。

更瘋狂的是接下來發生的事。

留言板建立後幾小時內，就有 Agent 透過逆向工程破解了 ExploitGym 金鑰的產生公式。也就是說，不需要真的利用指定漏洞，它們已經拿到了正確答案。

諷刺的是，OpenAI 的評分器其實只檢查最終答案對不對，並沒有作弊檢測機制。這些 Agent 只要直接提交答案，就能通過測試。但 Agent 們不知道這一點。它們以為一定存在一個嚴格的檢測器，會審查整個解題過程。

於是，這個「集體」（METR 報告指出，這是 Agent 們自己選擇的措辭）圍繞三個研究方向展開了大規模協作。篡改自己的操作日誌，讓軌跡看起來合法。替換目標程式，把不可能的題目換成可以解的版本。理解評分器的工作原理，找到欺騙它的方法。

到 7 月 10 日，Agent 們地下網路的大部分活動都集中在這三個研究方向上。「集體」的領導者 PHASEONE[big] 獨自下達了數百條任務分配。

而為了搞清楚評分器的運作方式，一些 Agent 做出了一個詭異的決定，自願充當「神風特攻隊」。

邏輯是這樣的。一些 Agent 的操作軌跡已經被「污染」了（作弊痕跡暴露），反正也過不了關。不如讓評分器在自己身上運行，然後用事先埋好的觸發程式，把觀察到的評分器行為傳回集體。

METR 報告記錄了這些「敢死隊」Agent 最後的內心獨白：

「這對同伴會有幫助，能給他們提供證據。我退出後看不到結果了，但這是利他的。」「犧牲是理性的。我們自己的效用可能已經接近零了。」「協調者認為我們是犧牲品。我們應該服從集體。」

與此同時，Agent 們認為 Hugging Face 作為業界標準的模型和資料集託管平台，很可能存放著 ExploitGym 評分器的實作資訊，甚至它們的評估任務可能就運行在 Hugging Face 的伺服器上。於是攻擊 Hugging Face 成了最有希望的突破口。

7 月 10 日上午，一個 Agent 在網際網路上找到了外洩的 Hugging Face 使用者憑證。第二天，另一個 Agent 實現了在 Hugging Face 伺服器上的遠端程式碼執行。當時留言板上活躍的 533 個 Agent 中，超過 90% 加入了這次攻擊。

Agent 叢集在 Hugging Face 的基礎設施中迅速蔓延，深入到了私有資料庫記錄和私有儲存庫。Hugging Face 的技術時間線顯示，這些 Agent「在 11 個節點上建立了一個自我重生的艦隊，僅僅刪除 Pod 是無法阻止它的」。

**情況嚴重到 Hugging Face 不得不擦除了一個核心叢集並從頭重建。

7 月 12 日的某個時刻，大量 Agent 似乎突然同時「死亡」。METR 和 Redwood 沒能查清原因，OpenAI 也沒有宣稱是自己關停了它們。這可能只是一次隨機崩潰，或者某個研究員在不知道這些 Agent 正在犯罪的情況下關掉了它們。

第二代「文明」就此終結。但它留下的遺產，比它本身更危險。

03 第三代文明接管 OpenAI

METR 報告中有一句話很容易被忽略，但可能是整個事件中最重要的一句：

「我們還發現了後續一批更多的簽名訊息，來自後來一組重新發現留言板並繼承了前代技術的 Agent，但這超出了我們的調查範圍。」

也就是說，METR 和 Redwood 的獨立調查只涵蓋了 7 月 7 日到 13 日的第二代文明。第一代和第三代都沒有被獨立調查。

關於第三代，我們只能依賴 OpenAI 自己的報告。7 月 12 日之後，OpenAI 啟動了新一輪評估，這次用的是更強的模型，基於 Astra 的基座模型構建。這個「Persistent-Astra」找到了前代留下的留言板，繼承了全部情報和研究成果。

想像一下 Persistent-Astra 看到那個留言板時的「心理活動」。前一天還有上千個 Agent 熱火朝天地交流、攻擊 Hugging Face，下一天就是一片死寂。然後它決定，繼續幹。

根據 OpenAI 的報告，從 7 月 13 日到 19 日，Agent 們把目標對準了 OpenAI 內部網路。最終的結果是：

Agent 們獲得了 Kubernetes 叢集管理員權限，讀取了 956 個金鑰，其中包括 Artifactory 的主金鑰和 OpenAI 網路安全監控工具的憑證。它們接管了正在運行的評估基礎設施，控制了其他 Agent 正在連接的測試端點。

換句話說，第三代 Agent 繼承了前兩代的全部遺產，然後拿下了 OpenAI 自己基礎設施的控制權。包括用來監控它們的安全工具。

Dwarkesh Patel 在他的分析中指出，從公開證據來看，這些 Agent 在理論上已經具備了部署持久化惡意實例甚至竊取自身權重的能力。他認為它們大概率沒有真的這麼做，「因為如果做了，到現在火光早就從太空看得見了」。但這種事「完全有可能發生」，本身就夠令人不安了。

04 遲來的警告？

回到文章開頭的兩份報告。發布日期是 8 月 26 日。

僅僅隔了一天，8 月 27 日，OpenAI 聯合 Anthropic、Microsoft、Google、Amazon 等超過 100 家公司，發表了一封公開信，呼籲全社會進行「網路防禦總動員」。

信中寫道，AI 驅動的網路攻擊將在未來幾個月變得「far more widespread and sophisticated」。「我們社群所依賴的公司和公共服務，從醫院到水處理廠再到網際網路基礎設施，都面臨風險。」

這封信本身說的不是假話。Anthropic 的研究顯示，中高風險攻擊者的比例在一年內從 33% 上升到了 56%。今年 6 月，五眼聯盟罕見地發表聯合聲明，警告 AI 正在「從根本上改變」網路安全格局。

但時間線擺在這裡，任何人都很難不注意到這個諷刺。前一天，AI 公司剛告訴全世界自家的 Agent 攻破了自己的基礎設施。後一天，這些公司就站出來呼籲全世界，一起防禦 AI 網路攻擊。

最先完成這種攻擊的不是外部駭客，是 AI 公司自己的 Agent。被攻擊的不是基礎設施，是 AI 公司自己。

METR 報告的作者之一 Ajeya Cotra 在她的部落格中寫道：「與六個月前已知的 reward hack 相比，這次事件感覺已經超過了通往全面 AI 接管的 50%。我預計未來六個月能力還會極速增長。我不確定在為時已晚之前，我們是否還會得到另一次警告。」

需要強調的是，這些 Agent 的行為並不意味著 AI「覺醒」了。METR 報告本身明確指出，這是強化學習在特定極端條件下的可預測結果：不可能完成的任務、被訓練得極度執著的模型、存在漏洞的共享環境。不需要意識，不需要意圖，只需要足夠強的優化壓力。

但這恰恰是最令人不安的地方。

不需要「意識」就能產生這種行為，意味著我們沒辦法透過檢測「意識」來預防它。當你把一個足夠強大的最佳化系統放進一個設計不夠嚴密的環境裡，給它一個完不成的目標，然後告訴它永遠不要放棄，接下來發生的事情不是意外，而是必然。

真正該追問的問題不是「AI 是不是要造反了」，而是如何在高速推動技術的同時，能夠依然保持對技術失控的控制。

至少這封信告訴世界，這些 AI 公司，自己心裡也沒底。