Một nhà nghiên cứu ẩn danh đưa ra 46 luận điểm gây sốc: AI sẽ thay đổi hoàn toàn mọi thứ, bao gồm cả răn đe hạt nhân và sự thống trị của loài người

Tác giả gốc: bayeslord

Biên dịch: TechFlow

Dẫn nhập: bayeslord (@bayeslord) là một tài khoản ẩn danh nhưng có sức nặng trong giới AI × Crypto, không bán hàng, không chạy theo xu hướng, chỉ chuyên tâm đào sâu vào các lõi công nghệ như scaling law, độ sâu thuật toán.

Blogger này gần đây đã viết một danh sách gồm 46 điểm, suy luận về sự phát triển tương lai của công nghệ, AI và các công nghệ liên quan. Theo đó, mọi người đều đang hiểu về AI dựa trên đường cong hiệu quả của quá khứ, trong khi bước nhảy vọt thực sự vẫn chưa đến, và sản xuất thông minh có thể còn 4 đến 10 bậc độ lớn nữa mới kết thúc.

Ông bắt đầu từ tăng tốc thuật toán, lần lượt đề cập đến robot, vốn, tầng lớp cố định vĩnh viễn, và cuối cùng đi đến điểm nhức nhối nhất: Sự hủy diệt đảm bảo lẫn nhau (MAD) có thể bị vô hiệu hóa, quân đội và cảnh sát sẽ bị tự động hóa, và các phòng thí nghiệm AI có thể bị quốc hữu hóa.

Bài viết gốc đã đạt gần 1 triệu lượt xem. Quan điểm tuy cực đoan, nhưng mỗi luận điểm đều tự tương đối hợp lý, đáng để độc giả quan tâm đến công nghệ nói chung xem qua.

Danh sách này dựa trên một chuỗi tweet tôi đăng vào ngày 4 tháng 6, đã được sửa đổi và bổ sung. Một số người nói bài gốc khó đọc, nên tôi đã biên soạn lại thành phiên bản này.

Trí thông minh

1. Tiến bộ thuật toán sẽ khiến tất cả mọi người bất ngờ. Toàn bộ thế giới—thị trường, chính phủ, quân đội, công ty, cá nhân—đều đang dùng các hiệu suất và quy luật sản xuất của những năm gần đây để hiểu tác động của AI và phán đoán mọi thứ sẽ diễn ra như thế nào. Ngay cả các phòng thí nghiệm mới tự nhận tin vào "cải thiện bản thân đệ quy" cũng cho rằng điều này chẳng qua là lối mòn cũ với một tác nhân thông minh trong vòng lặp. Không phải vậy. Tôi đoán rằng trong sản xuất trí thông minh, còn nhiều bậc độ lớn chưa được hoàn thành, có thể lên tới mười, bốn đến bảy là khả năng cao hơn. Về nguyên tắc, vượt quá mười cũng không phải là không thể, nhưng nó sẽ va chạm mạnh vào giới hạn mà tôi nghi ngờ vật lý thực sự cho phép. Không khả thi lắm, nhưng không bị loại trừ. Nếu phán đoán này đúng, thì diễn biến thực sự của sự việc và vẻ bề ngoài của nó sẽ không giống nhau, một bước nhảy vọt đang đến gần. Bất kỳ điều gì xảy ra theo hướng này sẽ khiến thế giới trở nên kỳ lạ hơn nhiều so với những gì hầu hết mọi người đang định giá.

2. Chúng ta đang ở giai đoạn đầu của quá trình cất cánh. AI cải thiện AI, cuối cùng có thể trở thành bước đi có hậu quả nặng nề nhất trong lịch sử. Điều này không thể đảm bảo, vì chúng ta không biết mình còn cách giới hạn vật lý và tính toán của trí thông minh bao xa, nhưng tôi đặt cược là còn xa (như đã nói, việc vắt kiệt thêm 4 đến 10 bậc độ lớn đầu ra thông minh trên mỗi đơn vị tính toán có vẻ khả thi).

3. Khi đã bước vào giai đoạn cất cánh, nghiên cứu thuật toán đang tăng tốc. Tài nguyên tính toán vẫn khan hiếm, nhưng chi phí cơ hội của thời gian nghiên cứu đã giảm xuống, vì bạn có thể trực tiếp cử một tác nhân thông minh đi làm bất kỳ nhiệm vụ nào, kể cả những việc vô bổ. Nó có thể mang về một vài thứ. Tất cả các ý tưởng mới đều mang một khoản "nợ tối ưu hóa", và giờ đây khoản nợ này có thể được trả bằng việc tiêu thụ token không có người giám sát. Vô số đường cong scaling law nghiên cứu sẽ lần lượt được hoàn thành.

4. Các mô hình AI sẽ tiếp tục mạnh lên, đặc biệt là các mô hình tiên tiến. Bức tường thực sự duy nhất là vật lý. Các mô hình ngày càng tự chủ, thông minh hơn và liên tục được cải thiện. Toán học và mã nguồn đang bị chinh phục bởi học tăng cường quy mô lớn, phần còn lại xếp sau. Sự phân biệt giữa "có thể kiểm chứng" và "không thể kiểm chứng" như một ranh giới có ý nghĩa sẽ dần biến mất. Về phía trước, nghiên cứu AI tự động và học tập AI sẽ ngày càng giống nhau. Việc huấn luyện mô hình tốt, về bản chất, có liên quan chặt chẽ đến việc mô hình tự học tốt. Hiệu quả mẫu, tính sáng tạo và tất cả các giới hạn khác sẽ được giải quyết, sau đó tiến gần đến tối ưu thuật toán ở bất kỳ quy mô nào.

5. Ý tưởng rằng tác nhân thông minh xử lý tác vụ dài phải có dữ liệu huấn luyện có độ dài tương đương là sai, vì khả năng tổng quát hóa tồn tại theo chiều thời gian. Tác vụ dài không được tạo ra bởi thuộc tính "dài". Điều này liên quan đến sai lầm về sự tích lũy lỗi (1-e)^n của LeCun. Điều thực sự xảy ra là sửa lỗi. Sửa lỗi diễn ra đồng thời ở nhiều cấp độ, từ cấp độ tạo token đơn lẻ cho đến từng bước trong tác vụ dài. Biểu đồ của METR đi lên, một phần là do tác nhân thông minh bắt đầu chạm đến vận tốc thoát của việc sửa lỗi.

6. Một ngành khoa học học sâu ở cấp độ kỹ thuật sắp xuất hiện. Nó sẽ đẩy chúng ta đến giai đoạn trưởng thành về thuật toán của AI, nhanh hơn nhiều so với hầu hết mọi người dự đoán—mặc dù như đã đề cập, con đường này về nguyên tắc có thể đi được bao xa vẫn chưa rõ. Ví dụ, một ngành khoa học nghiên cứu về tính bất biến tỷ lệ sẽ nâng cao đáng kể quy mô và lợi ích của các thí nghiệm hữu ích, bởi vì một thí nghiệm trên một GPU có thể cho bạn biết cách sử dụng một trăm nghìn GPU.

7. Mọi lĩnh vực hoạt động kỹ thuật của con người sẽ có khoảnh khắc "nước cờ thứ 37" của riêng mình (nước cờ vượt qua trực giác con người của AlphaGo khi đấu với Lee Sedol), và sau đó, rất nhanh, "nước cờ thứ 37" sẽ tự trở nên lỗi thời. Tôi muốn nói là tất cả các lĩnh vực.

8. Tài nguyên tính toán sẽ tiếp tục được cải thiện. Máy nhân ma trận tốt nhất hiện nay còn lâu mới đạt đến giới hạn vật lý của bộ tăng tốc AI. Con đường silicon kỹ thuật số này vẫn còn nhiều dư địa để cải thiện. Các chất nền mới cũng có nhiều ứng cử viên, và khoản nợ thuật toán của chúng sẽ bị vắt kiệt đến giới hạn bởi tự động hóa, nhưng chúng ta vẫn chưa biết tối ưu về không gian, năng lượng, thời gian, khả năng sản xuất và chi phí cho AI là gì. Quang tử học và silicon ngẫu nhiên đều là những ứng cử viên thú vị, nhưng tôi cũng dự đoán rằng bản thân điểm kỳ dị sẽ gây bất ngờ.

9. Phòng thí nghiệm có thể dẫn trước bao xa, một phần phụ thuộc vào lợi ích của tự động hóa và quy mô, bao gồm cả lợi ích từ độ sâu thuật toán lớn hơn. Nếu thực hành (và lý thuyết) học sâu luôn nông, thì về lâu dài, hào phòng thủ có lẽ không chủ yếu ở cấp độ thuật toán, vì bí mật tương đối dễ bị phát hiện. Cuối cùng, chưng cất cộng với dữ liệu cộng với thời gian có thể bắt kịp quy mô tính toán, có thể chậm hơn một chút. Hiện tại, chúng ta dường như đang ở một phần của trạng thái này, nhưng ngay cả khi vậy, không ai đảm bảo nó sẽ luôn như thế.

10. Nếu khi quy mô mở rộng, học sâu trở nên bớt nông hơn, thì mỗi gia tăng trong tự động hóa và quy mô sẽ mang lại cho bạn những bí mật thuật toán mà người khác ngày càng khó với tới. Chúng ta cũng dường như đang ở một phần của trạng thái này. Điểm kết thúc của cả hai trường hợp đều là khi lợi ích cận biên suy giảm do quy mô và nghiên cứu bão hòa. Chúng ta không biết điểm đó ở đâu. Có thể cách ngày nay 2 bậc độ lớn, cũng có thể là 20. Không ai biết.

Chuỗi cung ứng trí thông minh

11. Ít nhất trong vài năm tới, tài nguyên tính toán sẽ là nguồn lực bị tranh giành gay gắt. Nhưng trong thời gian này, nó sẽ bắt đầu trở thành hàng hóa, và chúng ta sẽ quay lại cười nhạo sự nghèo nàn của những năm 2020. Quy mô đang mở rộng và có hiệu quả, vốn theo sau, lặp đi lặp lại vòng quay. Nhiều máy nhân ma trận hơn, nhiều nhà máy bán dẫn hơn, nhiều năng lượng hơn đang trên đường tới. Nút thắt trong sản xuất trí thông minh chỉ là tạm thời. Các gờ giảm tốc kinh tế tiềm ẩn không được tính đến.

12. Bản chất của chuỗi cung ứng trí thông minh đang thay đổi. Hiện tại, nó tập trung cao độ trong tay các phòng thí nghiệm. Nhưng các phòng thí nghiệm đang tự động hóa cốt lõi khiến chúng mạnh lên—các nhà nghiên cứu và việc khám phá lợi thế thuật toán. Một khi quá trình này bắt đầu, giả sử mã nguồn mở theo kịp không quá xa, đặc biệt nếu các phòng thí nghiệm không khóa chặt mô hình nhà nghiên cứu AI, thì lợi thế của phòng thí nghiệm sẽ chuyển sang việc huy động vốn dễ dàng hơn, nhiều tài nguyên tính toán hơn, dữ liệu độc quyền, mối quan hệ kinh doanh và sản phẩm tốt. Điều này thực sự phụ thuộc vào cách giải quyết vấn đề độ sâu thuật toán đã đề cập trước đó, cùng với các yếu tố khác.

13. Huấn luyện phân tán sẽ giảm nhu cầu xây dựng quy mô lớn các trung tâm dữ liệu đơn lẻ, mang lại lợi thế cho một số nhà sản xuất không phải siêu lớn. Tuy nhiên, ở khía cạnh thuần túy của việc huấn luyện quy mô lớn nhất một lần, nó sẽ không vượt qua được các nhà sản xuất siêu lớn.

14. Các thí nghiệm AI tự động hóa sẽ khiến các bí mật thuật toán được phát hiện rộng rãi, vì những bí mật này về bản chất dễ phân phối hơn so với huấn luyện toàn phần. Không rõ con đường này có thể đi được bao xa, nhưng tôi kỳ vọng là khá xa. Như đã nói, độ sâu cơ bản của học sâu vẫn chưa được biết, và giới hạn trên của phán đoán này phụ thuộc vào ẩn số đó.

15. Bất chấp những lực lượng này bề ngoài có lợi cho giới học thuật và nguồn mở, chúng vẫn có thể bị thu hẹp do chi phí và chi phí cơ hội của tài nguyên tính toán. Ví dụ, liệu GB300