YBB Capital: Xem trước lộ trình tiềm năng - Thị trường điện toán phi tập trung (Phần 1)

特邀专栏作者

2023-11-04 10:30

Bài viết này có khoảng 10361 từ, đọc toàn bộ bài viết mất khoảng 15 phút

Thị trường điện toán AGI đang trong giai đoạn phát triển nhanh chóng, mặc dù có những thách thức như độ khó phát triển cao, yêu cầu nghiêm ngặt về phần cứng và vốn đầu tư lớn nhưng nó có tiềm năng rất lớn. Hiện tại, nhiều dự án trên thị trường đang nỗ lực giải quyết vấn đề về độ trễ của mạng phi tập

Tác giả gốc: Zeke, YBB Capital

Lời nói đầu

Kể từ khi GPT-3 ra đời, AI thế hệ đã mở ra một bước ngoặt bùng nổ trong lĩnh vực trí tuệ nhân tạo với hiệu suất đáng kinh ngạc và các kịch bản ứng dụng rộng rãi, và những gã khổng lồ công nghệ đã bắt đầu tập hợp lại để nhảy vào đường đua AI. Nhưng vấn đề cũng nảy sinh, việc đào tạo và suy luận của các mô hình ngôn ngữ lớn (LLM) đòi hỏi một lượng lớn sức mạnh tính toán, với việc nâng cấp lặp đi lặp lại của mô hình, yêu cầu về sức mạnh tính toán và chi phí tăng theo cấp số nhân. Lấy GPT-2 và GPT-3 làm ví dụ, sự khác biệt về số lượng tham số giữa GPT-2 và GPT-3 là 1166 lần (GPT-2 là 150 triệu tham số và GPT-3 là 175 tỷ tham số). GPT-3 Chi phí được tính toán dựa trên mô hình giá của đám mây GPU công cộng vào thời điểm đó lên tới 12 triệu đô la Mỹ, gấp 200 lần so với GPT-2. Trong sử dụng thực tế, mọi câu hỏi của người dùng đều yêu cầu tính toán suy luận, dựa trên 13 triệu lượt truy cập của người dùng vào đầu năm nay, nhu cầu chip tương ứng là hơn 30.000 GPU A 100. Chi phí đầu tư ban đầu sau đó sẽ là 800 triệu USD, với chi phí suy luận mô hình hàng ngày ước tính là 700.000 USD.

Sức mạnh tính toán không đủ và chi phí cao đã trở thành những vấn đề mà toàn bộ ngành công nghiệp AI phải đối mặt, nhưng những vấn đề tương tự dường như cũng đang gây khó khăn cho ngành công nghiệp blockchain. Một mặt, việc giảm một nửa lần thứ tư của Bitcoin và việc áp dụng ETF sắp xảy ra. Khi giá tăng trong tương lai, nhu cầu về phần cứng máy tính của các nhà khai thác chắc chắn sẽ tăng đáng kể. Mặt khác, bằng chứng không có kiến thức ("Zero-Knowledge Proof", gọi tắt là ZKP) công nghệ đang bùng nổ và Vitalik đã nhiều lần nhấn mạnh rằng tác động của ZK đối với lĩnh vực blockchain trong mười năm tới sẽ quan trọng như chính blockchain. Mặc dù ngành công nghiệp blockchain đặt nhiều hy vọng vào tương lai của công nghệ này, nhưng ZK cũng tiêu tốn rất nhiều sức mạnh tính toán và thời gian trong việc tạo ra bằng chứng do quá trình tính toán phức tạp của nó, giống như AI.

Trong tương lai gần, tình trạng thiếu hụt sức mạnh tính toán sẽ trở nên tất yếu, vậy liệu thị trường sức mạnh tính toán phi tập trung có phải là một hoạt động kinh doanh tốt?

Định nghĩa thị trường điện toán phi tập trung

Thị trường điện toán phi tập trung về cơ bản thực sự tương đương với đường đua điện toán đám mây phi tập trung, nhưng so với điện toán đám mây phi tập trung, cá nhân tôi nghĩ thuật ngữ này phù hợp hơn để mô tả các dự án mới được thảo luận sau. Thị trường sức mạnh tính toán phi tập trung phải thuộc một tập hợp con của DePIN (Mạng cơ sở hạ tầng vật lý phi tập trung). Mục tiêu của nó là tạo ra một thị trường sức mạnh tính toán mở cho phép bất kỳ ai có tài nguyên sức mạnh tính toán nhàn rỗi sử dụng các ưu đãi mã thông báo. Tài nguyên của họ được cung cấp trên thị trường này, chủ yếu phục vụ người dùng B-end và nhóm nhà phát triển. Từ quan điểm của các dự án quen thuộc hơn, chẳng hạn như Render Network, mạng giải pháp kết xuất dựa trên GPU phi tập trung và Akash Network, thị trường ngang hàng phân tán cho điện toán đám mây, cả hai đều thuộc nhóm này.

Phần sau đây sẽ bắt đầu với các khái niệm cơ bản và sau đó thảo luận về ba thị trường mới nổi theo hướng này: thị trường năng lượng tính toán AGI, thị trường sức mạnh tính toán Bitcoin và thị trường sức mạnh tính toán AGI trong thị trường tăng tốc phần cứng ZK. Hai thị trường sau sẽ được thảo luận trong Xem trước lộ trình tiềm năng: Thị trường điện toán phi tập trung (Phần 2) sẽ được thảo luận.

Tổng quan về sức mạnh tính toán

Nguồn gốc của khái niệm sức mạnh tính toán có thể bắt nguồn từ thời kỳ đầu phát minh ra máy tính. Máy tính ban đầu sử dụng một thiết bị cơ khí để hoàn thành các nhiệm vụ tính toán và sức mạnh tính toán đề cập đến sức mạnh tính toán của thiết bị cơ khí. Cùng với sự phát triển của công nghệ máy tính, khái niệm sức mạnh tính toán cũng phát triển, sức mạnh tính toán ngày nay thường đề cập đến hoạt động cộng tác giữa phần cứng máy tính (CPU, GPU, FPGA, v.v.) và phần mềm (hệ điều hành, trình biên dịch, chương trình ứng dụng, v.v.) .) khả năng.

sự định nghĩa

Sức mạnh tính toán đề cập đến lượng dữ liệu mà máy tính hoặc thiết bị tính toán khác có thể xử lý hoặc số lượng tác vụ tính toán được hoàn thành trong một khoảng thời gian nhất định. Sức mạnh tính toán thường được sử dụng để mô tả hiệu suất của một máy tính hoặc thiết bị tính toán khác, là một chỉ số quan trọng về khả năng xử lý của một thiết bị tính toán.

Số liệu

Sức mạnh tính toán có thể được đo lường theo nhiều cách khác nhau, chẳng hạn như tốc độ tính toán, mức tiêu thụ năng lượng tính toán, độ chính xác tính toán và tính song song. Trong lĩnh vực máy tính, các số liệu về sức mạnh tính toán thường được sử dụng bao gồm FLOPS (phép toán dấu phẩy động mỗi giây), IPS (lệnh mỗi giây), TPS (giao dịch mỗi giây), v.v.

FLOPS (các phép toán dấu phẩy động mỗi giây) đề cập đến khả năng của máy tính trong việc xử lý các phép toán dấu phẩy động (các phép toán trên các số có dấu thập phân yêu cầu xem xét các vấn đề về độ chính xác và lỗi làm tròn). Nó đo lường số lượng máy tính có thể hoàn thành mỗi giây. Các phép toán dấu phẩy động. FLOPS là thước đo khả năng tính toán hiệu năng cao của máy tính và thường được sử dụng để đo khả năng tính toán của siêu máy tính, máy chủ tính toán hiệu năng cao, bộ xử lý đồ họa (GPU), v.v. Ví dụ: một hệ thống máy tính có FLOPS là 1 TFLOPS (một nghìn tỷ phép tính dấu phẩy động mỗi giây), nghĩa là nó có thể hoàn thành 1 nghìn tỷ phép tính dấu phẩy động mỗi giây.

IPS (Instructions Per Second) đề cập đến tốc độ máy tính xử lý các lệnh, thước đo số lượng lệnh mà một máy tính có thể thực hiện mỗi giây. IPS là thước đo hiệu suất lệnh đơn của máy tính và thường được sử dụng để đo hiệu suất của bộ xử lý trung tâm (CPU), v.v. Ví dụ: CPU có IPS 3 GHz (300 triệu lệnh mỗi giây) có nghĩa là nó có thể thực thi 300 triệu lệnh mỗi giây.

TPS (số giao dịch mỗi giây) đề cập đến khả năng xử lý giao dịch của máy tính và đo lường số lượng giao dịch mà một máy tính có thể hoàn thành mỗi giây. Thường được sử dụng để đo hiệu suất máy chủ cơ sở dữ liệu. Ví dụ: máy chủ cơ sở dữ liệu có TPS là 1000, nghĩa là nó có thể xử lý 1000 giao dịch cơ sở dữ liệu mỗi giây.

Ngoài ra, còn có một số chỉ báo về sức mạnh tính toán cho các tình huống ứng dụng cụ thể, chẳng hạn như tốc độ suy luận, tốc độ xử lý hình ảnh và độ chính xác nhận dạng giọng nói.

Loại sức mạnh tính toán

Sức mạnh tính toán của GPU đề cập đến sức mạnh tính toán của bộ xử lý đồ họa (Bộ xử lý đồ họa). Không giống như CPU (Bộ xử lý trung tâm), GPU là phần cứng được thiết kế đặc biệt để xử lý dữ liệu đồ họa như hình ảnh và video. Nó có số lượng lớn các đơn vị xử lý và khả năng tính toán song song hiệu quả, đồng thời có thể thực hiện đồng thời một số lượng lớn các phép toán dấu phẩy động . Vì GPU ban đầu được thiết kế để xử lý đồ họa chơi game nên chúng thường có tần số xung nhịp cao hơn và băng thông bộ nhớ lớn hơn CPU để hỗ trợ các hoạt động đồ họa phức tạp.

Sự khác biệt giữa CPU và GPU

Kiến trúc: CPU và GPU có kiến trúc tính toán khác nhau. CPU thường sử dụng một hoặc nhiều lõi, mỗi lõi là bộ xử lý đa năng có khả năng thực hiện nhiều hoạt động khác nhau. GPU có số lượng lớn Bộ xử lý luồng và Bộ tạo bóng, được sử dụng đặc biệt để thực hiện các hoạt động liên quan đến xử lý hình ảnh;

Tính toán song song: GPU thường có khả năng tính toán song song cao hơn. CPU có số lượng lõi hạn chế và mỗi lõi chỉ có thể thực hiện một lệnh, nhưng GPU có thể có hàng nghìn bộ xử lý luồng có thể thực thi nhiều lệnh và thao tác cùng một lúc. Do đó, GPU thường phù hợp hơn CPU để thực hiện các tác vụ tính toán song song, chẳng hạn như học máy và học sâu, vốn đòi hỏi lượng điện toán song song lớn;

Lập trình: Lập trình GPU phức tạp hơn CPU, yêu cầu sử dụng các ngôn ngữ lập trình cụ thể (như CUDA hoặc OpenCL) và sử dụng các kỹ thuật lập trình cụ thể để tận dụng khả năng tính toán song song của GPU. Ngược lại, lập trình CPU đơn giản hơn và có thể sử dụng các ngôn ngữ lập trình và công cụ lập trình đa năng.

Tầm quan trọng của sức mạnh tính toán

Trong thời đại Cách mạng Công nghiệp, dầu mỏ là máu của thế giới và thâm nhập vào mọi ngành công nghiệp. Sức mạnh tính toán nằm trong blockchain và trong kỷ nguyên AI sắp tới, sức mạnh tính toán sẽ là “dầu kỹ thuật số” của thế giới. Từ việc các công ty lớn điên cuồng giành lấy chip AI và cổ phiếu vượt quá 1 nghìn tỷ của Nvidia, đến việc Hoa Kỳ phong tỏa chip cao cấp từ Trung Quốc gần đây, các chi tiết bao gồm sức mạnh tính toán, diện tích chip và thậm chí cả kế hoạch cấm đám mây GPU của nó. Tầm quan trọng là điều hiển nhiên, sức mạnh tính toán sẽ là hàng hóa trong thời đại tiếp theo.

Tổng quan về trí tuệ nhân tạo nói chung

Trí tuệ nhân tạo (Artificial Intelligence) là một ngành khoa học kỹ thuật mới nghiên cứu và phát triển lý thuyết, phương pháp, công nghệ và hệ thống ứng dụng để mô phỏng, mở rộng và mở rộng trí tuệ con người. Nó có nguồn gốc từ những năm 1950 và 1960. Sau hơn nửa thế kỷ tiến hóa, nó đã trải qua sự phát triển đan xen của ba làn sóng biểu tượng, chủ nghĩa kết nối và chủ thể hành vi. Giờ đây, với tư cách là một công nghệ tổng hợp mới nổi, nó đang thúc đẩy xã hội. cuộc sống và mọi tầng lớp xã hội. Một định nghĩa cụ thể hơn về Generative AI phổ biến ở giai đoạn này là: Trí tuệ nhân tạo tổng hợp (AGI), một hệ thống trí tuệ nhân tạo có khả năng hiểu biết rộng, có thể thực hiện tốt nhiều nhiệm vụ và lĩnh vực khác nhau. . AGI về cơ bản yêu cầu ba yếu tố, học sâu (DL), dữ liệu lớn và sức mạnh tính toán quy mô lớn.

học kĩ càng

Học sâu là một trường con của học máy (ML) và các thuật toán học sâu là mạng lưới thần kinh được mô hình hóa theo bộ não con người. Ví dụ, bộ não con người chứa hàng triệu tế bào thần kinh được kết nối với nhau để học và xử lý thông tin. Tương tự như vậy, mạng nơ-ron học sâu (hoặc mạng nơ-ron nhân tạo) bao gồm nhiều lớp nơ-ron nhân tạo hoạt động cùng nhau bên trong máy tính. Tế bào thần kinh nhân tạo là các mô-đun phần mềm được gọi là nút sử dụng các phép tính toán học để xử lý dữ liệu. Mạng lưới thần kinh nhân tạo là các thuật toán học sâu sử dụng các nút này để giải quyết các vấn đề phức tạp.

Mạng nơ-ron có thể được chia thành lớp đầu vào, lớp ẩn và lớp đầu ra theo cấp độ phân cấp và các tham số được kết nối giữa các lớp khác nhau.

Lớp đầu vào: Lớp đầu vào là lớp đầu tiên của mạng nơ-ron và chịu trách nhiệm nhận dữ liệu đầu vào bên ngoài. Mỗi nơron trong lớp đầu vào tương ứng với một đặc điểm của dữ liệu đầu vào. Ví dụ: khi xử lý dữ liệu hình ảnh, mỗi nơ-ron có thể tương ứng với một giá trị pixel trong hình ảnh;

Lớp ẩn: Lớp đầu vào xử lý dữ liệu và chuyển nó đến các lớp tiếp theo trong mạng lưới thần kinh. Các lớp ẩn này xử lý thông tin ở các cấp độ khác nhau, điều chỉnh hành vi của chúng khi nhận được thông tin mới. Mạng học sâu có hàng trăm lớp ẩn và có thể được sử dụng để phân tích vấn đề từ nhiều góc độ khác nhau. Ví dụ: nếu bạn được đưa cho một hình ảnh về một con vật chưa biết mà bạn phải phân loại, bạn có thể so sánh nó với những con vật bạn đã biết. Ví dụ: bạn có thể biết đó là loại động vật nào qua hình dạng của tai, số chân và kích thước đồng tử của nó. Các lớp ẩn trong mạng lưới thần kinh sâu hoạt động theo cách tương tự. Nếu một thuật toán deep learning đang cố gắng phân loại hình ảnh của một con vật, thì mỗi lớp ẩn của nó sẽ xử lý một đặc điểm khác nhau của con vật đó và cố gắng phân loại nó một cách chính xác;

Lớp đầu ra: Lớp đầu ra là lớp cuối cùng của mạng nơ-ron và chịu trách nhiệm tạo đầu ra của mạng. Mỗi nơron trong lớp đầu ra đại diện cho một loại hoặc giá trị đầu ra có thể có. Ví dụ, trong một bài toán phân loại, mỗi nơ-ron lớp đầu ra có thể tương ứng với một danh mục, trong khi trong bài toán hồi quy, lớp đầu ra có thể chỉ có một nơ-ron có giá trị đại diện cho kết quả dự đoán;

Tham số: Trong mạng thần kinh, các kết nối giữa các lớp khác nhau được biểu thị bằng tham số trọng số và độ lệch, được tối ưu hóa trong quá trình đào tạo để cho phép mạng xác định chính xác các mẫu trong dữ liệu và đưa ra dự đoán. Việc tăng các tham số có thể cải thiện năng lực mô hình của mạng lưới thần kinh, tức là khả năng tìm hiểu và biểu diễn các mẫu phức tạp trong dữ liệu của mô hình. Nhưng tương ứng, việc tăng thông số sẽ làm tăng nhu cầu về sức mạnh tính toán.

Dữ liệu lớn

Để được đào tạo hiệu quả, mạng lưới thần kinh thường yêu cầu lượng lớn dữ liệu đa dạng và chất lượng cao từ nhiều nguồn. Nó là cơ sở cho việc đào tạo và xác nhận mô hình học máy. Bằng cách phân tích dữ liệu lớn, các mô hình học máy có thể tìm hiểu các mẫu và mối quan hệ trong dữ liệu để đưa ra dự đoán hoặc phân loại.

Sức mạnh tính toán quy mô lớn

Cấu trúc phức tạp nhiều lớp của mạng nơ-ron, số lượng lớn tham số, yêu cầu xử lý dữ liệu lớn và phương pháp huấn luyện lặp lại (trong giai đoạn huấn luyện, mô hình cần được lặp đi lặp lại, đồng thời cần phải thực hiện việc truyền tiến và truyền ngược được tính toán cho từng lớp trong quá trình đào tạo, bao gồm tính toán hàm kích hoạt, tính toán hàm mất mát, tính toán độ dốc và cập nhật trọng số), yêu cầu tính toán có độ chính xác cao, khả năng tính toán song song, kỹ thuật tối ưu hóa và chính quy hóa cũng như các quy trình đánh giá và xác minh mô hình đã dẫn đến chung với nhu cầu về sức mạnh tính toán cao. Với deep learning Với sự tiến bộ của AGI, yêu cầu về sức mạnh tính toán quy mô lớn đang tăng lên khoảng 10 lần mỗi năm. Mô hình mới nhất cho đến nay, GPT-4, chứa 1,8 nghìn tỷ tham số, chi phí đào tạo duy nhất hơn 60 triệu đô la Mỹ và yêu cầu sức mạnh tính toán là 2,15 e 25 FLOPS (21500 nghìn tỷ phép tính dấu phẩy động). Nhu cầu về sức mạnh tính toán cho việc đào tạo mô hình tiếp theo vẫn đang mở rộng và các mô hình mới cũng đang được bổ sung.

Kinh tế tính toán AI

quy mô thị trường tương lai

Theo những tính toán có thẩm quyền nhất, Báo cáo đánh giá chỉ số sức mạnh điện toán toàn cầu 2022-2023 do IDC (Tập đoàn dữ liệu quốc tế), Inspur Information và Viện nghiên cứu công nghiệp toàn cầu của Đại học Thanh Hoa đồng biên soạn, quy mô thị trường điện toán AI toàn cầu sẽ tăng từ năm 2022 lên 2022. Từ 19,50 tỷ USD lên 34,66 tỷ USD vào năm 2026, thị trường điện toán AI tổng quát sẽ tăng từ 820 triệu USD vào năm 2022 lên 10,99 tỷ USD vào năm 2026. Điện toán AI sáng tạo sẽ tăng từ 4,2% lên 31,7% trên thị trường điện toán AI tổng thể.

Sức mạnh tính toán độc quyền kinh tế

Việc sản xuất GPU AI đã được NVIDA độc quyền và cực kỳ đắt đỏ (H 100 mới nhất đã được bán với giá 40.000 USD mỗi chip) và GPU đã được các gã khổng lồ ở Thung lũng Silicon chộp lấy ngay khi chúng được phát hành và một số GPU những thiết bị này được sử dụng trong các sản phẩm của chính họ. Phần còn lại được các nhà phát triển AI thuê thông qua nền tảng đám mây, các nền tảng điện toán đám mây như Google, Amazon và Microsoft có số lượng lớn tài nguyên tính toán như máy chủ, GPU và TPU. Sức mạnh tính toán đã trở thành một nguồn tài nguyên mới được các gã khổng lồ độc quyền, một số lượng lớn các nhà phát triển liên quan đến AI thậm chí không thể mua GPU chuyên dụng nếu không tăng giá, để sử dụng các thiết bị mới nhất, các nhà phát triển phải thuê máy chủ đám mây AWS hoặc Microsoft. Đánh giá từ báo cáo tài chính, doanh nghiệp này có lợi nhuận cực cao, dịch vụ đám mây của AWS có tỷ suất lợi nhuận gộp là 61%, trong khi tỷ suất lợi nhuận gộp của Microsoft thậm chí còn cao hơn ở mức 72%.

Vậy chúng ta có phải chấp nhận quyền kiểm soát tập trung này và trả 72% phí lợi nhuận cho tài nguyên máy tính không? Liệu những gã khổng lồ độc quyền Web2 có còn độc quyền ở thời đại tiếp theo?

Vấn đề về sức mạnh tính toán AGI phi tập trung

Khi nói đến chống độc quyền, phân cấp thường là giải pháp tối ưu.Đánh giá từ các dự án hiện có, liệu chúng ta có thể đạt được sức mạnh tính toán quy mô lớn cần thiết cho AI thông qua các dự án lưu trữ trong DePIN cộng với các giao thức sử dụng GPU nhàn rỗi như RDNR không? Câu trả lời là không. Con đường diệt rồng không hề đơn giản. Các dự án ban đầu không được thiết kế dành riêng cho sức mạnh tính toán AGI và không khả thi. Cần phải đối mặt ít nhất 5 thách thức sau để bổ sung sức mạnh tính toán vào chuỗi:

1. Xác minh công việc: Để xây dựng một mạng điện toán thực sự không cần sự tin cậy và mang lại động lực kinh tế cho người tham gia, mạng phải có cách xác minh xem công việc điện toán học sâu có thực sự được thực hiện hay không. Cốt lõi của vấn đề này là sự phụ thuộc trạng thái của các mô hình deep learning, trong các mô hình deep learning, đầu vào của mỗi lớp phụ thuộc vào đầu ra của lớp trước đó. Điều này có nghĩa là bạn không thể chỉ xác thực một lớp nhất định trong mô hình mà không tính đến tất cả các lớp trước nó. Việc tính toán mỗi lớp dựa trên kết quả của tất cả các lớp trước đó. Do đó, để xác minh công việc được thực hiện tại một điểm cụ thể (chẳng hạn như một lớp cụ thể), tất cả công việc từ đầu mô hình đến điểm cụ thể đó phải được thực hiện;

2. Thị trường: Là một thị trường mới nổi, thị trường điện toán AI phải đối mặt với những tình huống khó xử về cung và cầu, chẳng hạn như vấn đề khởi đầu nguội, thanh khoản cung và cầu cần phải được kết hợp chặt chẽ ngay từ đầu để thị trường có thể phát triển thành công . Để nắm bắt được nguồn cung cấp sức mạnh tính toán tiềm năng, những người tham gia phải được cung cấp các ưu đãi rõ ràng để đổi lấy tài nguyên sức mạnh tính toán của họ. Thị trường cần một cơ chế để theo dõi công việc tính toán đã hoàn thành và trả lương cho các nhà cung cấp một cách kịp thời. Trong các thị trường truyền thống, các bên trung gian xử lý các nhiệm vụ như quản lý và giới thiệu, đồng thời giảm chi phí vận hành bằng cách đặt ra số tiền thanh toán tối thiểu. Tuy nhiên, cách làm này tốn kém hơn khi mở rộng quy mô thị trường. Chỉ một phần nhỏ nguồn cung có thể được nắm bắt một cách hiệu quả về mặt kinh tế, dẫn đến trạng thái cân bằng ngưỡng trong đó thị trường chỉ có thể nắm bắt và duy trì nguồn cung hạn chế mà không thể phát triển thêm;

3. Bài toán dừng: Bài toán dừng là một bài toán cơ bản trong lý thuyết điện toán, nó liên quan đến việc xác định xem một tác vụ tính toán nhất định sẽ được hoàn thành trong một khoảng thời gian giới hạn hay không bao giờ dừng lại. Vấn đề này không thể giải quyết được, nghĩa là không có thuật toán phổ quát nào có thể dự đoán cho tất cả các tác vụ tính toán liệu chúng có dừng trong một khoảng thời gian hữu hạn hay không. Ví dụ: việc thực thi hợp đồng thông minh trên Ethereum cũng phải đối mặt với các vấn đề về thời gian ngừng hoạt động tương tự. Nghĩa là, không thể xác định trước lượng tài nguyên máy tính để thực hiện hợp đồng thông minh sẽ yêu cầu hoặc liệu nó có được hoàn thành trong một thời gian hợp lý hay không;

(Trong bối cảnh học sâu, vấn đề này sẽ phức tạp hơn, vì các mô hình và khung sẽ chuyển từ xây dựng đồ thị tĩnh sang xây dựng và thực thi động.)

4. Quyền riêng tư: Thiết kế và phát triển nhận thức về quyền riêng tư là điều bắt buộc đối với các bên tham gia dự án. Mặc dù một lượng lớn nghiên cứu máy học có thể được thực hiện trên các bộ dữ liệu công khai, nhưng để cải thiện hiệu suất của mô hình và thích ứng với các ứng dụng cụ thể, mô hình thường cần được tinh chỉnh trên dữ liệu người dùng độc quyền. Quá trình tinh chỉnh này có thể liên quan đến việc xử lý dữ liệu cá nhân, vì vậy cần phải xem xét các yêu cầu bảo vệ quyền riêng tư;

5. Song song hóa: Đây là yếu tố then chốt khiến dự án hiện tại không khả thi.Các mô hình deep learning thường được đào tạo song song trên các cụm phần cứng lớn với kiến trúc độc quyền và độ trễ cực thấp, đồng thời GPU trong mạng điện toán phân tán cần được trao đổi dữ liệu thường xuyên sẽ giới thiệu độ trễ và sẽ bị giới hạn bởi GPU hiệu suất thấp nhất. Khi nguồn năng lượng tính toán không đáng tin cậy và không đáng tin cậy, làm thế nào để đạt được sự song song không đồng nhất là một vấn đề cần được giải quyết.Phương pháp khả thi hiện nay là đạt được sự song song hóa thông qua Mô hình máy biến áp, chẳng hạn như Máy biến áp chuyển mạch, hiện có đặc tính song song cao.

Giải pháp: Mặc dù những nỗ lực hiện tại nhằm phân cấp thị trường năng lượng tính toán AGI vẫn đang ở giai đoạn đầu, nhưng có đúng hai dự án bước đầu đã giải quyết được thiết kế đồng thuận của mạng phi tập trung và việc triển khai mạng sức mạnh tính toán phi tập trung trong đào tạo và suy luận mô hình . quá trình. Sau đây sẽ sử dụng Gensyn và Together làm ví dụ để phân tích các phương pháp thiết kế và các vấn đề của thị trường năng lượng tính toán AGI phi tập trung.

Gensyn

Gensyn là một thị trường năng lượng điện toán AGI vẫn đang trong giai đoạn xây dựng và nhằm mục đích giải quyết các thách thức khác nhau của điện toán học sâu phi tập trung và giảm chi phí hiện tại cho việc học sâu. Gensyn về cơ bản là giao thức bằng chứng cổ phần lớp đầu tiên dựa trên mạng Polkadot, trực tiếp thưởng cho người giải quyết (Bộ giải) thông qua hợp đồng thông minh để đổi lấy các thiết bị GPU nhàn rỗi của họ để tính toán và thực hiện các tác vụ học máy.

Vì vậy, quay lại câu hỏi trên, cốt lõi của việc xây dựng một mạng máy tính thực sự không cần tin cậy nằm ở việc xác minh công việc học máy đã hoàn thành. Đây là một vấn đề cực kỳ phức tạp đòi hỏi phải tìm ra sự cân bằng giữa sự giao thoa giữa lý thuyết phức tạp, lý thuyết trò chơi, mật mã và tối ưu hóa.

Gensyn đề xuất một giải pháp đơn giản để người giải gửi kết quả của các nhiệm vụ học máy mà họ đã hoàn thành. Để xác minh rằng những kết quả này là chính xác, một người xác minh độc lập khác sẽ cố gắng thực hiện lại công việc tương tự. Cách tiếp cận này có thể được gọi là sao chép đơn vì chỉ có một trình xác thực thực hiện việc thực hiện lại. Điều này có nghĩa là chỉ có một nỗ lực bổ sung để xác minh tính chính xác của tác phẩm gốc. Tuy nhiên, nếu người xác thực tác phẩm không phải là người yêu cầu tác phẩm gốc thì vấn đề về lòng tin vẫn còn. Bởi vì bản thân người xác minh có thể không trung thực và công việc của họ cần được xác minh. Điều này dẫn đến một vấn đề tiềm ẩn trong đó nếu người xác thực tác phẩm không phải là người yêu cầu tác phẩm gốc thì sẽ cần một người xác thực khác để xác thực tác phẩm của họ. Nhưng cũng có thể trình xác thực mới này không đáng tin cậy, vì vậy cần có một trình xác thực khác để xác minh công việc của họ, việc này có thể tiếp tục mãi mãi, tạo ra một chuỗi sao chép vô hạn. Ở đây chúng ta cần giới thiệu ba khái niệm chính và đan xen chúng để xây dựng một hệ thống có người tham gia với bốn vai trò nhằm giải quyết vấn đề chuỗi vô hạn.

Bằng chứng học tập xác suất: Sử dụng siêu dữ liệu của các quy trình tối ưu hóa dựa trên độ dốc để xây dựng chứng chỉ công việc đã hoàn thành. Bằng cách sao chép các giai đoạn nhất định, các chứng chỉ này có thể được xác minh nhanh chóng để đảm bảo rằng công việc đã được hoàn thành như mong đợi.

Giao thức bản địa hóa chính xác dựa trên đồ thị: Sử dụng các giao thức bản địa hóa chính xác đa chi tiết, dựa trên biểu đồ và thực thi nhất quán các bộ đánh giá chéo. Điều này cho phép các nỗ lực xác thực được chạy lại và so sánh để đảm bảo tính nhất quán và cuối cùng được xác nhận bởi chính blockchain.

Trò chơi khuyến khích theo phong cách Truebit: Sử dụng đặt cược và chém để xây dựng một trò chơi khuyến khích đảm bảo mọi người tham gia hợp lý về mặt tài chính sẽ hành động trung thực và thực hiện nhiệm vụ đã định của họ.

Hệ thống người tham gia bao gồm người nộp, người giải, người xác minh và người báo cáo.

Người gửi:

Người gửi là người dùng cuối của hệ thống, họ cung cấp các nhiệm vụ được tính toán và trả tiền cho các đơn vị công việc đã hoàn thành;

Người giải quyết:

Người giải quyết là nhân viên chính của hệ thống, thực hiện đào tạo mô hình và tạo ra các bằng chứng được người xác minh kiểm tra;

Người xác minh:

Trình xác minh là chìa khóa để liên kết quá trình đào tạo không xác định với tính toán tuyến tính xác định, sao chép một phần bằng chứng của người giải và so sánh khoảng cách với ngưỡng dự kiến;

Người tố giác:

Người tố cáo là tuyến phòng thủ cuối cùng, kiểm tra công việc của người xác nhận và đưa ra thách thức với hy vọng nhận được khoản tiền thưởng hậu hĩnh.

Vận hành hệ thống

Hoạt động của hệ thống trò chơi do giao thức thiết kế sẽ bao gồm tám giai đoạn, bao gồm bốn vai trò chính của người tham gia, để hoàn tất quy trình hoàn chỉnh từ gửi nhiệm vụ đến xác minh cuối cùng.

1. Đệ trình nhiệm vụ: Một nhiệm vụ bao gồm ba phần thông tin cụ thể:

Siêu dữ liệu mô tả nhiệm vụ và siêu tham số;
một mô hình nhị phân (hoặc lược đồ cơ sở);
Dữ liệu đào tạo được xử lý trước, có thể truy cập công khai.

2. Để gửi một nhiệm vụ, người gửi chỉ định các chi tiết của nhiệm vụ ở định dạng máy có thể đọc được và gửi chúng vào chuỗi cùng với mô hình nhị phân (hoặc lược đồ máy có thể đọc được) và vị trí có thể truy cập công khai của dữ liệu đào tạo được xử lý trước. Dữ liệu công khai có thể được lưu trữ trong bộ lưu trữ đối tượng đơn giản như AWS S3 hoặc trong bộ lưu trữ phi tập trung như IPFS, Arweave hoặc Subspace.

3. Lập hồ sơ: Quá trình lập hồ sơ xác định ngưỡng khoảng cách cơ bản cho bằng chứng xác minh việc học. Người xác thực sẽ thu thập thông tin định kỳ các nhiệm vụ phân tích và tạo ra các ngưỡng đột biến để so sánh bằng chứng học tập. Để tạo ngưỡng, trình xác minh sẽ chạy và chạy lại một cách xác định một phần quá trình đào tạo, sử dụng các hạt giống ngẫu nhiên khác nhau, đồng thời tạo và kiểm tra bằng chứng của chính nó. Trong quá trình này, người xác minh sẽ thiết lập ngưỡng khoảng cách dự kiến tổng thể cho công việc không xác định có thể được sử dụng làm giải pháp xác minh.

4. Đào tạo: Sau khi phân tích, các nhiệm vụ sẽ được đưa vào nhóm nhiệm vụ công khai (tương tự như Mempool của Ethereum). Chọn một bộ giải để thực hiện nhiệm vụ và xóa nhiệm vụ khỏi nhóm nhiệm vụ. Người giải quyết thực hiện các nhiệm vụ dựa trên siêu dữ liệu do người gửi gửi cũng như mô hình và dữ liệu đào tạo được cung cấp. Khi thực hiện các nhiệm vụ đào tạo, người giải quyết cũng tạo ra bằng chứng học tập bằng cách định kỳ kiểm tra điểm và lưu trữ siêu dữ liệu từ quá trình đào tạo, bao gồm các tham số, để người xác minh sao chép các bước tối ưu hóa sau đây một cách chính xác nhất có thể.

5. Tạo bằng chứng: Bộ giải lưu định kỳ các trọng số hoặc cập nhật của mô hình và chỉ mục tương ứng vào tập dữ liệu huấn luyện để xác định các mẫu được sử dụng để tạo ra các cập nhật trọng số. Tần suất điểm kiểm tra có thể được điều chỉnh để mang lại sự đảm bảo mạnh mẽ hơn hoặc để tiết kiệm không gian lưu trữ. Bằng chứng có thể được xếp chồng, nghĩa là bằng chứng có thể bắt đầu từ phân phối ngẫu nhiên được sử dụng để khởi tạo trọng số hoặc từ trọng số được huấn luyện trước được tạo bằng cách sử dụng bằng chứng của chính chúng. Điều này cho phép giao thức xây dựng một tập hợp các mô hình cơ sở được đào tạo trước, đã được kiểm chứng (tức là các mô hình cơ sở) có thể được tinh chỉnh cho các nhiệm vụ cụ thể hơn.

6. Xác minh bằng chứng: Sau khi hoàn thành nhiệm vụ, người giải sẽ đăng ký việc hoàn thành nhiệm vụ với chuỗi và hiển thị bằng chứng học tập của nó ở một vị trí có thể truy cập công khai để người xác minh truy cập. Trình xác minh rút ra các nhiệm vụ xác minh từ nhóm nhiệm vụ công cộng và thực hiện công việc tính toán để chạy lại các phần của bằng chứng và thực hiện các phép tính khoảng cách. Khoảng cách kết quả sau đó được chuỗi sử dụng (cùng với ngưỡng được tính trong giai đoạn phân tích) để xác định xem việc xác minh có khớp với bằng chứng hay không.

7. Thử thách xác định chính xác dựa trên biểu đồ: Sau khi xác minh bằng chứng học tập, người tố cáo có thể sao chép công việc của người xác minh để kiểm tra xem bản thân công việc xác minh có được thực hiện chính xác hay không. Nếu người tố cáo tin rằng việc xác thực đã được thực hiện không chính xác (có ác ý hay không), họ có thể khiếu nại việc xác thực đó với trọng tài để nhận phần thưởng. Phần thưởng này có thể đến từ tiền gửi của người giải quyết và người xác thực (trong trường hợp dương tính thật) hoặc từ tổng giải thưởng xổ số (trong trường hợp dương tính giả), với việc phân xử được thực hiện bằng chính chuỗi đó. Người tố cáo (trong trường hợp của họ là người xác minh) sẽ chỉ xác minh và sau đó phản đối công việc nếu họ mong muốn nhận được khoản bồi thường thích hợp. Trong thực tế, điều này có nghĩa là người tố giác dự kiến sẽ tham gia và rời khỏi mạng lưới dựa trên số lượng người tố cáo đang hoạt động khác (tức là với số tiền gửi trực tiếp và thử thách). Do đó, chiến lược mặc định dự kiến đối với bất kỳ người tố cáo nào là tham gia mạng khi số lượng người tố cáo khác ít, gửi tiền gửi, chọn ngẫu nhiên một nhiệm vụ đang hoạt động và bắt đầu quá trình xác minh của họ. Sau khi nhiệm vụ đầu tiên kết thúc, họ sẽ nhận một nhiệm vụ hoạt động ngẫu nhiên khác và lặp lại cho đến khi số lượng người tố cáo vượt quá ngưỡng thanh toán đã xác định của họ, sau đó họ sẽ rời khỏi mạng (hoặc nhiều khả năng là chuyển sang mạng tùy thuộc vào khả năng phần cứng của họ để thực hiện nhiệm vụ khác). vai trò - người xác minh hoặc người giải quyết) cho đến khi tình huống được đảo ngược trở lại.

8. Trọng tài hợp đồng: Khi người xác thực bị người tố cáo phản đối, họ sẽ tham gia một quy trình với chuỗi để tìm ra vị trí của hoạt động hoặc đầu vào đang tranh chấp, và cuối cùng chuỗi sẽ thực hiện thao tác cơ bản cuối cùng và xác định xem thách thức có phải là hợp lý. Để giữ cho người tố cáo trung thực và khắc phục tình trạng khó xử của người xác thực, các lỗi bắt buộc định kỳ và các khoản thanh toán jackpot được giới thiệu tại đây.

9. Thanh toán: Trong quá trình thanh toán, người tham gia được thanh toán dựa trên kết luận kiểm tra xác suất và độ chắc chắn. Các kịch bản khác nhau sẽ có các khoản thanh toán khác nhau dựa trên kết quả xác minh và thử thách trước đó. Nếu công việc được coi là đã được thực hiện chính xác và tất cả các bước kiểm tra đều được thông qua, thì nhà cung cấp giải pháp và người xác minh sẽ được khen thưởng dựa trên các hành động được thực hiện.

Đánh giá tóm tắt dự án

Gensyn đã thiết kế một hệ thống trò chơi tuyệt vời trên lớp xác minh và lớp khuyến khích, bằng cách tìm ra các điểm phân kỳ trong mạng, nó có thể nhanh chóng xác định được lỗi, nhưng hệ thống hiện tại vẫn còn thiếu nhiều chi tiết. Ví dụ, đặt thông số thế nào để đảm bảo thưởng phạt hợp lý mà không đặt ngưỡng quá cao? Bạn đã xem xét các tình huống khắc nghiệt và khả năng tính toán khác nhau của những người giải quyết trong trò chơi chưa? Phiên bản sách trắng hiện tại không có mô tả chi tiết về hoạt động song song không đồng nhất, hiện tại Gensyn vẫn còn một chặng đường dài phía trước.

Together.ai

Together là công ty mã nguồn mở tập trung vào các mô hình lớn và cam kết cung cấp các giải pháp sức mạnh tính toán AI phi tập trung, chúng tôi mong rằng bất kỳ ai, ở bất kỳ đâu cũng có thể truy cập và sử dụng AI. Nói đúng ra, Together không phải là một dự án blockchain, nhưng dự án bước đầu đã giải quyết được vấn đề chậm trễ trong mạng máy tính AGI phi tập trung. Vì vậy, bài viết dưới đây chỉ phân tích các giải pháp của Together mà không đánh giá dự án.

Làm thế nào để đạt được mục đích đào tạo và suy luận của các mô hình lớn khi mạng phi tập trung chậm hơn 100 lần so với trung tâm dữ liệu?

Chúng ta hãy tưởng tượng việc phân phối các thiết bị GPU tham gia mạng sẽ như thế nào trong tình huống phi tập trung? Các thiết bị này sẽ được phân phối ở các châu lục và thành phố khác nhau và các thiết bị sẽ cần được kết nối, đồng thời độ trễ và băng thông của các kết nối sẽ khác nhau. Như minh họa trong hình bên dưới, một tình huống phân tán được mô phỏng. Các thiết bị được phân phối ở Bắc Mỹ, Châu Âu và Châu Á, băng thông và độ trễ giữa các thiết bị là khác nhau. Vậy cần phải làm gì để nối nối tiếp nó?

Mô hình tính toán đào tạo phân tán:Hình bên dưới thể hiện quá trình đào tạo mô hình cơ bản trên nhiều thiết bị. Từ loại giao tiếp, có ba loại giao tiếp: kích hoạt chuyển tiếp (Forward Activation), gradient ngược (Backward gradient) và giao tiếp ngang.

Kết hợp băng thông truyền thông và độ trễ, cần xem xét hai dạng song song: song song đường ống và song song dữ liệu, tương ứng với ba loại giao tiếp trong trường hợp nhiều thiết bị:

Trong song song đường ống, tất cả các lớp của mô hình được chia thành các giai đoạn, trong đó mỗi thiết bị xử lý một giai đoạn, đó là một chuỗi các lớp liên tục, chẳng hạn như nhiều khối Transformer; ở chế độ chuyển tiếp, các kích hoạt được chuyển sang giai đoạn tiếp theo, trong khi ở chế độ lùi vượt qua, gradient kích hoạt sẽ được chuyển sang giai đoạn trước.

Trong song song dữ liệu, các thiết bị tính toán độ dốc một cách độc lập cho các lô vi mô khác nhau nhưng yêu cầu giao tiếp để đồng bộ hóa các độ dốc này.

Tối ưu hóa lịch trình:

Trong môi trường phi tập trung, quá trình đào tạo thường bị hạn chế về mặt giao tiếp. Các thuật toán lập lịch thường chỉ định các nhiệm vụ yêu cầu lượng giao tiếp lớn cho các thiết bị có kết nối nhanh hơn. Xem xét sự phụ thuộc giữa các nhiệm vụ và tính không đồng nhất của mạng, chi phí của một chiến lược lập lịch cụ thể cần phải được mô hình hóa trước tiên. Để nắm bắt được chi phí truyền thông phức tạp của việc đào tạo mô hình cơ sở, Together đã đề xuất một công thức mới và phân tách mô hình chi phí thành hai cấp độ thông qua lý thuyết đồ thị:

Lý thuyết đồ thị là một nhánh của toán học chủ yếu nghiên cứu các tính chất và cấu trúc của đồ thị (mạng). Một biểu đồ bao gồm các đỉnh (nút) và các cạnh (đường nối các nút). Mục đích chính của lý thuyết đồ thị là nghiên cứu các tính chất khác nhau của đồ thị, chẳng hạn như tính kết nối của đồ thị, màu sắc của đồ thị và các tính chất của đường đi và chu trình trong đồ thị.
Cấp độ đầu tiên là phân vùng đồ thị cân bằng (phân vùng tập hợp các đỉnh của đồ thị thành nhiều tập con có kích thước bằng nhau hoặc gần bằng nhau đồng thời giảm thiểu số cạnh giữa các tập hợp con. Trong cách phân vùng này, mỗi tập hợp con đại diện cho một phân vùng và giảm chi phí truyền thông bằng cách giảm thiểu vấn đề cạnh giữa các phân vùng), tương ứng với chi phí truyền thông của song song dữ liệu.
Cấp độ thứ hai là bài toán so khớp đồ thị và bài toán nhân viên bán hàng du lịch (vấn đề khớp đồ thị và bài toán nhân viên bán hàng du lịch là một bài toán tối ưu hóa tổ hợp kết hợp các phần tử của bài toán so khớp đồ thị và bài toán nhân viên bán hàng du lịch. Bài toán so khớp đồ thị là tìm một kết quả khớp trong biểu đồ sao cho Một số loại giảm thiểu hoặc tối đa hóa chi phí. Và vấn đề của người bán hàng du lịch là tìm ra con đường ngắn nhất ghé thăm tất cả các nút trong biểu đồ), tương ứng với chi phí truyền thông của tính song song của đường ống.

Hình trên là sơ đồ quy trình sơ đồ, vì quy trình thực hiện thực tế liên quan đến một số công thức tính toán phức tạp. Để dễ hiểu, quy trình trong hình sẽ được giải thích đơn giản hơn dưới đây. Để biết quy trình thực hiện chi tiết, bạn có thể tham khảo tài liệu trên trang web chính thức của Together.

Giả sử có một bộ thiết bị D chứa N thiết bị, giao tiếp giữa chúng có độ trễ không xác định (ma trận A) và băng thông (ma trận B). Dựa trên bộ thiết bị D, trước tiên chúng tôi tạo phân vùng đồ thị cân bằng. Số lượng thiết bị trong mỗi phân vùng hoặc nhóm thiết bị gần như bằng nhau và tất cả chúng đều xử lý các giai đoạn quy trình giống nhau. Điều này đảm bảo rằng khi dữ liệu được song song hóa, mỗi nhóm thiết bị sẽ thực hiện cùng một lượng công việc. (Song song dữ liệu đề cập đến nhiều thiết bị thực hiện cùng một tác vụ, trong khi các giai đoạn quy trình đề cập đến các thiết bị thực hiện các bước tác vụ khác nhau theo một thứ tự cụ thể). Dựa trên độ trễ và băng thông của giao tiếp, có thể sử dụng công thức để tính chi phí truyền dữ liệu giữa các nhóm thiết bị. Mỗi nhóm thiết bị cân bằng được hợp nhất, tạo ra một biểu đồ thô được kết nối đầy đủ, trong đó mỗi nút biểu thị một giai đoạn của đường ống và các cạnh biểu thị chi phí truyền thông giữa hai giai đoạn. Để giảm thiểu chi phí liên lạc, thuật toán so khớp được sử dụng để xác định nhóm thiết bị nào sẽ hoạt động cùng nhau.

Để tối ưu hóa hơn nữa, bài toán này cũng có thể được mô hình hóa như bài toán người bán hàng du lịch vòng lặp mở (vòng mở có nghĩa là không cần quay lại điểm bắt đầu của đường dẫn) để tìm đường dẫn tối ưu để truyền dữ liệu giữa tất cả các thiết bị. Cuối cùng, Together sử dụng thuật toán lập lịch sáng tạo của họ để tìm ra chiến lược phân bổ tối ưu cho mô hình chi phí nhất định, từ đó giảm thiểu chi phí liên lạc và tối đa hóa thông lượng đào tạo. Theo các phép đo thực tế, ngay cả khi mạng chậm hơn 100 lần khi áp dụng tối ưu hóa lập lịch này thì thông lượng đào tạo từ đầu đến cuối chỉ chậm hơn khoảng 1,7 đến 2,3 lần.

Tối ưu hóa nén truyền thông:

Để tối ưu hóa việc nén truyền thông, Together đã giới thiệu thuật toán AQ-SGD (để biết quy trình tính toán chi tiết, vui lòng tham khảo bài viết Tinh chỉnh mô hình ngôn ngữ trên mạng chậm sử dụng nén kích hoạt có bảo đảm). Thuật toán AQ-SGD nhằm giải quyết vấn đề về sự song song của đường ống trên các mạng tốc độ thấp. Một công nghệ nén chủ động mới được thiết kế để giải quyết vấn đề hiệu quả truyền thông trong đào tạo. Khác với các phương pháp nén trực tiếp các giá trị hoạt động trước đây, AQ-SGD tập trung vào việc nén các thay đổi về giá trị hoạt động của cùng một mẫu đào tạo trong các giai đoạn khác nhau. Phương pháp độc đáo này giới thiệu một động lực tự thực hiện thú vị. Khi quá trình đào tạo ổn định, Hiệu suất của thuật toán dự kiến sẽ dần được cải thiện. Thuật toán AQ-SGD đã trải qua quá trình phân tích lý thuyết nghiêm ngặt và được chứng minh là có tốc độ hội tụ tốt trong các điều kiện kỹ thuật nhất định và hàm lượng tử hóa có sai số giới hạn. Thuật toán này không chỉ có thể được triển khai một cách hiệu quả mà còn không tăng thêm chi phí thời gian chạy từ đầu đến cuối, mặc dù nó yêu cầu sử dụng nhiều bộ nhớ và SSD hơn để lưu trữ các giá trị hoạt động. Được xác thực thông qua các thử nghiệm mở rộng về bộ dữ liệu mô hình hóa ngôn ngữ và phân loại trình tự, AQ-SGD có thể nén các giá trị hoạt động thành 2-4 bit mà không làm giảm hiệu suất hội tụ. Ngoài ra, AQ-SGD cũng có thể được tích hợp với các thuật toán nén độ dốc hiện đại để đạt được nén giao tiếp từ đầu đến cuối, nghĩa là tất cả trao đổi dữ liệu giữa các máy, bao gồm độ dốc mô hình, giá trị hoạt động chuyển tiếp, và gradient ngược, được nén ở mức độ chính xác thấp, do đó cải thiện đáng kể hiệu quả giao tiếp của đào tạo phân tán. So với hiệu suất đào tạo toàn diện không nén trên mạng điện toán tập trung (chẳng hạn như 10 Gbps), hiện tại nó chỉ chậm hơn 31%. Kết hợp với dữ liệu về tối ưu hóa lịch trình, mặc dù vẫn còn một khoảng cách nhất định giữa mạng điện toán tập trung và mạng điện toán tập trung nhưng hy vọng bắt kịp trong tương lai là tương đối cao.

Phần kết luận

Trong giai đoạn cổ tức do làn sóng AI mang lại, thị trường sức mạnh tính toán AGI chắc chắn là thị trường có tiềm năng lớn nhất và có nhu cầu cao nhất trong số nhiều thị trường sức mạnh tính toán. Tuy nhiên, độ khó phát triển, yêu cầu về phần cứng và yêu cầu tài chính cũng cao nhất. Đánh giá tình hình của hai dự án trên, vẫn còn một khoảng cách nhất định trước khi thị trường năng lượng tính toán AGI có thể được triển khai. Một mạng lưới phi tập trung thực sự phức tạp hơn nhiều so với tình huống lý tưởng, rõ ràng là không đủ để cạnh tranh với những gã khổng lồ trên nền tảng đám mây. hiện tại. Trong khi viết bài này, tôi cũng quan sát thấy một số dự án quy mô nhỏ ở giai đoạn sơ khai (giai đoạn PPT) đã bắt đầu khám phá một số điểm đầu vào mới, chẳng hạn như tập trung vào giai đoạn suy luận ít khó hơn hoặc các mô hình nhỏ. những nỗ lực thiết thực hơn.

Vẫn chưa rõ thị trường sức mạnh tính toán AGI cuối cùng sẽ được hiện thực hóa như thế nào, mặc dù phải đối mặt với nhiều thách thức nhưng về lâu dài, tầm quan trọng của việc phân cấp và không cần cấp phép của sức mạnh tính toán AGI là rất quan trọng và không nên tập trung vào quyền lý luận và đào tạo. cho một số gã khổng lồ tập trung. Bởi vì nhân loại không cần một “tôn giáo” mới hay một “giáo hoàng” mới chứ đừng nói đến việc phải trả những “phí” đắt đỏ.