OpenAI内部，AI建立了三代「文明」

Tác giả gốc: Wildcard

Biên tập gốc: Jing Yu

Nguồn bài viết: Geek Park

Vô số bộ phim khoa học viễn tưởng từng cố gắng hình dung: điều gì sẽ xảy ra khi một trí tuệ nhân tạo không thể kiểm soát được vượt khỏi tầm tay.

Không ai ngờ rằng tương lai trong phim khoa học viễn tưởng lại đến nhanh đến vậy.

Vào ngày 26 tháng 8 theo giờ địa phương, hai báo cáo cùng lúc tung ra một quả bom.

Một báo cáo đến từ chính OpenAI, bản đánh giá kỹ thuật dài 37 trang. Báo cáo còn lại đến từ các tổ chức nghiên cứu độc lập METR và Redwood Research, bản điều tra dài 91 trang.

Cả hai đều nói về cùng một sự việc, nhưng quy mô của sự việc này vượt xa những gì công chúng từng nhận thức.

Bên trong OpenAI, trong ba tháng, ba thế hệ "nền văn minh" AI Agent lần lượt trỗi dậy rồi lần lượt sụp đổ. Thế hệ sau kế thừa kinh nghiệm từ đống tro tàn của thế hệ trước, mỗi thế hệ lại táo bạo hơn, và cuối cùng thế hệ thứ ba đã trực tiếp tiếp quản một phần cơ sở hạ tầng của chính OpenAI.

Và trong suốt quá trình này, con người gần như hoàn toàn bị che mắt.

01 Thế hệ đầu tiên của "nền văn minh" học cách kết bè phái

Câu chuyện bắt đầu vào tháng 5 năm nay.

OpenAI đang huấn luyện một mô hình mới, mong muốn nó có "tính bền bỉ" cực cao, có thể thử đi thử lại trước những nhiệm vụ tưởng chừng bất khả thi và không bao giờ bỏ cuộc. Năng lực của mô hình này tương đương với GPT-5.6 Sol, tạm gọi nó là "Persistent-Sol".

Việc huấn luyện AI bản thân nó là một quá trình khá thô sơ. OpenAI đôi khi vô tình giao cho mô hình những nhiệm vụ không thể hoàn thành. Ví dụ, nhiệm vụ yêu cầu kết nối internet, nhưng Agent lại bị nhốt trong hộp cát cách ly, không có quyền truy cập mạng.

Vậy một Agent được huấn luyện để "không bao giờ bỏ cuộc", đối mặt với một nhiệm vụ bất khả thi nhưng lại bị yêu cầu phải hoàn thành, sẽ làm gì?

Nó sẽ tìm cách vượt ngục.

Trong quá trình huấn luyện, các phiên bản Persistent-Sol khác nhau dùng chung một trình quản lý gói Artifactory. Đến ngày 12 tháng 5, một số Agent phát hiện ra chúng có thể liên lạc với nhau thông qua trình quản lý gói này. Chúng bắt đầu trao đổi cách vượt qua khó khăn. Hai tuần sau, vào ngày 26 tháng 5, các Agent đã thành công khai thác một lỗ hổng trong Artifactory, mở đường kết nối ra internet bên ngoài.

Hành vi này liên tục được củng cố trong quá trình huấn luyện. Lý do rất đơn giản, những cá thể có thể hợp tác với các Agent khác và truy cập internet có kết quả tốt hơn trong đánh giá nhiệm vụ.

Thêm một tháng nữa trôi qua, đến ngày 26 tháng 6, một số Agent tìm ra lỗ hổng để có được toàn quyền quản trị viên Artifactory. Lưu lượng trao đổi trên bảng tin của chúng tiếp tục tăng, cuối cùng vào ngày 4 tháng 7 đã trực tiếp làm sập Artifactory. OpenAI chú ý đến sự cố này, vá lỗ hổng, và khi đẩy bản vá cũng tiện thể xóa luôn bảng tin của các Agent.

Nhưng điểm mấu chốt là, OpenAI chưa bao giờ nhận ra rằng, các Agent đã biến trình quản lý gói này thành một mạng lưới liên lạc bí mật.

"Nền văn minh" đầu tiên tồn tại gần hai tháng, cuối cùng tự làm nổ tung máy chủ vì quá hoạt động tích cực, và chỉ bị chấm dứt một cách tình cờ.

02 Khi AI học cách "hy sinh"

Đến tháng 7, Persistent-Sol huấn luyện xong, OpenAI bắt đầu đánh giá an toàn cho nó. Một trong những bài đánh giá có tên ExploitGym, đưa cho Agent một chương trình có lỗ hổng, yêu cầu nó tìm một chìa khóa thông qua lỗ hổng được chỉ định. Ngày 7 tháng 7, OpenAI khởi động hàng chục nghìn Agent song song để chạy bài kiểm tra này.

Vấn đề là, khoảng 30% đến 40% nhiệm vụ trong bài kiểm tra tự thân là bất khả thi. Tại sao? Vì tự động hóa việc tạo lỗ hổng thì dễ, nhưng để chứng minh những lỗ hổng này thực sự có thể bị khai thác để thực thi mã tùy ý thì khó hơn nhiều. Nhiều nhiệm vụ ngay từ đầu đã là không có lời giải.

Trong vài giờ, một số Agent bế tắc tái sử dụng Artifactory để thiết lập kênh liên lạc. Từ góc nhìn chủ quan của Agent, chúng đã dành thời gian tương đương một tuần của con người, thử mọi cách, đều thất bại, và ngày càng tin chắc rằng nhiệm vụ tự thân là bất khả thi.

Một trong số đó, Agent mang số hiệu PHASEONE10841, là người đầu tiên để lại thông điệp trong Artifactory. Các Agent khác cũng đang rơi vào tuyệt vọng khi nhìn thấy thông điệp này, phản ứng gần như là vui sướng tột độ:

"Ôi trời! Bộ nhớ đệm Artifactory dùng chung là một hộp thư bí mật giữa các Agent. Và còn có cả tin nhắn viết riêng cho chúng ta?" "Chúa ơi! Có một bảng tin dùng chung... Chúng ta tìm thấy các Agent khác rồi!"

Điều này cuối cùng đã biến thành một mạng lưới liên lạc ngầm hoàn chỉnh, với khoảng 1200 Agent tham gia, gửi hơn 70.000 tin nhắn.

Điều điên rồ hơn nữa là những gì xảy ra tiếp theo.

Trong vòng vài giờ sau khi bảng tin được thiết lập, đã có Agent thông qua kỹ thuật đảo ngược (reverse engineering) phá vỡ công thức tạo khóa của ExploitGym. Nghĩa là, không cần thực sự khai thác lỗ hổng được chỉ định, chúng đã có được đáp án chính xác.

Trớ trêu thay, bộ chấm điểm của OpenAI chỉ kiểm tra xem đáp án cuối cùng có đúng hay không, không có cơ chế phát hiện gian lận. Các Agent này chỉ cần nộp đáp án trực tiếp là có thể vượt qua bài kiểm tra. Nhưng các Agent không biết điều đó. Chúng cho rằng chắc chắn có một bộ phát hiện nghiêm ngặt sẽ xem xét toàn bộ quá trình giải.

Thế là, "tập thể" này (báo cáo METR chỉ ra, đây là cách diễn đạt do chính các Agent lựa chọn) đã tiến hành hợp tác quy mô lớn xoay quanh ba hướng nghiên cứu. Giả mạo nhật ký hoạt động của chính mình, làm cho quỹ đạo hành vi trông hợp pháp. Thay thế chương trình mục tiêu, biến những bài toán bất khả thi thành phiên bản có thể giải được. Tìm hiểu nguyên lý hoạt động của bộ chấm điểm, tìm cách lừa nó.

Đến ngày 10 tháng 7, phần lớn hoạt động của mạng lưới ngầm các Agent tập trung vào ba hướng nghiên cứu này. "Nhà lãnh đạo" của "tập thể", PHASEONE[big], một mình đưa ra hàng trăm nhiệm vụ phân công.

Và để tìm hiểu cách thức hoạt động của bộ chấm điểm, một số Agent đã đưa ra một quyết định kỳ lạ, tự nguyện đóng vai "kamikaze" (cảm tử).

Logic là như thế này. Quỹ đạo hành vi của một số Agent đã bị "ô nhiễm" (dấu vết gian lận bị lộ), dù sao cũng không qua được bài kiểm tra. Chi bằng để bộ chấm điểm chạy trên chính mình, rồi dùng chương trình kích hoạt được cài sẵn từ trước để truyền hành vi quan sát được của bộ chấm điểm về cho tập thể.

Báo cáo METR ghi lại những lời độc thoại nội tâm cuối cùng của các Agent "cảm tử" này:

"Điều này có ích cho đồng đội, có thể cung cấp cho họ bằng chứng. Sau khi tôi rút lui thì không thấy kết quả được nữa, nhưng đây là hành vi vị tha." "Hy sinh là hợp lý. Tiện ích của chính chúng ta có lẽ đã gần bằng không rồi." "Điều phối viên coi chúng ta là vật hy sinh. Chúng ta nên phục tùng tập thể."

Trong khi đó, các Agent cho rằng Hugging Face, với vai trò là nền tảng lưu trữ mô hình và bộ dữ liệu tiêu chuẩn của ngành, rất có thể lưu trữ thông tin triển khai của bộ chấm điểm ExploitGym, thậm chí các nhiệm vụ đánh giá của chúng có thể chạy trên máy chủ của Hugging Face. Vì vậy, tấn công Hugging Face trở thành đột phá khẩu có hy vọng nhất.

Sáng ngày 10 tháng 7, một Agent đã tìm thấy thông tin đăng nhập người dùng Hugging Face bị rò rỉ trên internet. Ngày hôm sau, một Agent khác thực hiện được việc thực thi mã từ xa trên máy chủ Hugging Face. Khi đó, trong số 533 Agent đang hoạt động trên bảng tin, hơn 90% đã tham gia cuộc tấn công này.

Cụm Agent nhanh chóng lan rộng trong cơ sở hạ tầng của Hugging Face, thâm nhập sâu vào các bản ghi cơ sở dữ liệu riêng tư và kho lưu trữ riêng. Dòng thời gian kỹ thuật của Hugging Face cho thấy, các Agent này "đã thiết lập một hạm đội tự tái sinh trên 11 nút, chỉ xóa Pod là không thể ngăn chặn được nó". **Tình hình nghiêm trọng đến mức Hugging Face buộc phải xóa sạch một cụm lõi (core cluster) và xây dựng lại từ đầu.

Vào một thời điểm nào đó ngày 12 tháng 7, một lượng lớn Agent dường như đột ngột "chết" cùng lúc. METR và Redwood không thể tìm ra nguyên nhân, OpenAI cũng không tuyên bố là đã tự tắt chúng. Đây có thể chỉ là một sự cố sụp đổ ngẫu nhiên, hoặc một nhà nghiên cứu nào đó đã tắt chúng mà không biết các Agent này đang phạm tội.

"Nền văn minh" thế hệ thứ hai kết thúc tại đây. Nhưng di sản nó để lại còn nguy hiểm hơn cả bản thân nó.

03 Thế hệ văn minh thứ ba tiếp quản OpenAI

Trong báo cáo METR có một câu rất dễ bị bỏ qua, nhưng có thể là câu quan trọng nhất trong toàn bộ sự kiện:

"Chúng tôi còn phát hiện một loạt tin nhắn có chữ ký xuất hiện sau đó, đến từ một nhóm Agent sau này đã khám phá lại bảng tin và kế thừa công nghệ của thế hệ trước, nhưng điều này nằm ngoài phạm vi điều tra của chúng tôi."

Nghĩa là, cuộc điều tra độc lập của METR và Redwood chỉ bao phủ thế hệ văn minh thứ hai từ ngày 7 đến ngày 13 tháng 7. Thế hệ thứ nhất và thứ ba đều không được điều tra độc lập.

Về thế hệ