Giới thiệu: Từ kiến trúc hệ thống đến đảm bảo khả năng tái tạo

Trong các hệ thống blockchain truyền thống, bằng chứng công việc chủ yếu dựa vào tính ngẫu nhiên của các phép toán băm để đảm bảo an toàn. Tuy nhiên, Gonka PoW 2.0 phải đối mặt với một thách thức phức tạp hơn: làm thế nào để đảm bảo kết quả không thể đoán trước cho các phép tính dựa trên các mô hình ngôn ngữ lớn, đồng thời đảm bảo rằng bất kỳ nút trung thực nào cũng có thể tái tạo và xác minh cùng một quy trình tính toán. Bài viết này sẽ đi sâu vào cách MLNode đạt được mục tiêu này thông qua cơ chế gieo hạt được thiết kế cẩn thận và thuật toán xác định.

Trước khi đi sâu vào triển khai kỹ thuật cụ thể, trước tiên chúng ta cần hiểu thiết kế tổng thể của kiến trúc hệ thống PoW 2.0 và vai trò quan trọng của khả năng tái tạo trong đó.

1. Tổng quan về kiến trúc hệ thống PoW 2.0

1.1 Thiết kế kiến trúc phân lớp

Gonka PoW 2.0 áp dụng kiến trúc nhiều lớp để đảm bảo khả năng tái tạo từ cấp độ blockchain đến cấp độ thực thi tính toán:

Nguồn dữ liệu : Dựa trên thiết kế kiến trúc của decentralized-api/internal/poc và mlnode/packages/pow

Thiết kế nhiều lớp này cho phép tối ưu hóa các thành phần khác nhau của hệ thống một cách độc lập trong khi vẫn duy trì tính nhất quán và khả năng xác minh tổng thể.

1.2 Mục tiêu cốt lõi của khả năng tái tạo

Thiết kế khả năng tái tạo của hệ thống PoW 2.0 phục vụ các mục tiêu cốt lõi sau:

1. Tính công bằng trong tính toán : đảm bảo rằng tất cả các nút đều phải đối mặt với những thách thức tính toán giống nhau

2. Xác minh kết quả : Bất kỳ nút trung thực nào cũng có thể tái tạo và xác minh kết quả tính toán

3. Đảm bảo chống gian lận : làm cho việc tính toán trước và làm sai lệch kết quả trở nên không khả thi về mặt tính toán

4. Đồng bộ hóa mạng : đảm bảo tính nhất quán trạng thái trong môi trường phân tán

Cùng nhau, những mục tiêu này tạo thành nền tảng cho thiết kế có thể tái tạo của PoW 2.0, đảm bảo tính bảo mật và công bằng của hệ thống.

2. Hệ thống hạt giống: quản lý thống nhất tính ngẫu nhiên đa cấp

Sau khi hiểu được kiến trúc hệ thống, chúng ta cần đi sâu vào công nghệ then chốt để đạt được khả năng tái tạo: hệ thống hạt giống. Hệ thống này đảm bảo tính nhất quán và tính không thể đoán trước của các phép tính thông qua quản lý ngẫu nhiên đa cấp.

2.1 Loại hạt giống và mục tiêu cụ thể

Gonka PoW 2.0 thiết kế bốn loại hạt giống khác nhau, mỗi loại phục vụ một mục tiêu tính toán cụ thể:

Hạt giống cấp độ mạng

Nguồn dữ liệu : decentralized-api/internal/poc/random_seed.go#L90-L111

Mục tiêu : Cung cấp cơ sở ngẫu nhiên thống nhất cho toàn bộ mạng tại mọi thời điểm, đảm bảo rằng tất cả các nút đều sử dụng cùng một nguồn ngẫu nhiên toàn cầu.

Hạt giống cấp độ mạng là nền tảng ngẫu nhiên cho toàn bộ hệ thống, đảm bảo rằng tất cả các nút trong mạng đều sử dụng cùng một nền tảng ngẫu nhiên thông qua các giao dịch blockchain.

Hạt giống cấp nhiệm vụ

Nguồn dữ liệu : mlnode/packages/pow/src/pow/random.py#L9-L21

Mục tiêu : Tạo ra một trình tạo số ngẫu nhiên chất lượng cao cho mọi tác vụ tính toán bằng cách mở rộng không gian entropy thông qua nhiều vòng băm SHA-256.

Hạt giống cấp tác vụ cung cấp tính ngẫu nhiên chất lượng cao cho từng tác vụ tính toán cụ thể bằng cách mở rộng không gian entropy.

Hạt giống cấp nút

Nguồn dữ liệu : Mẫu xây dựng chuỗi hạt giống `f"{hash_str}_{public_key}_nonce{nonce}"`

Mục tiêu : Đảm bảo rằng các nút khác nhau và các giá trị nonce khác nhau tạo ra các đường dẫn tính toán hoàn toàn khác nhau để ngăn ngừa xung đột và trùng lặp.

Hạt giống cấp nút đảm bảo rằng đường dẫn tính toán của mỗi nút là duy nhất bằng cách kết hợp khóa công khai của nút và giá trị nonce.

Hạt giống vectơ mục tiêu

Nguồn dữ liệu : mlnode/packages/pow/src/pow/random.py#L165-L177

Mục tiêu : Tạo ra một vectơ mục tiêu thống nhất cho toàn bộ mạng, trong đó tất cả các nút đều được tối ưu hóa theo cùng một vị trí hình cầu có chiều cao.

Hạt giống vectơ mục tiêu đảm bảo rằng tất cả các nút trong mạng đều tính toán theo cùng một mục tiêu, đây là chìa khóa để xác minh tính nhất quán của kết quả.

2.2 Quản lý vòng đời hạt giống

Cơ chế quản lý : Hạt giống được quản lý ở cấp độ kỷ nguyên. Một hạt giống mới được tạo vào đầu mỗi kỷ nguyên và được đồng bộ hóa với toàn bộ mạng thông qua các giao dịch blockchain để đảm bảo tất cả các nút đều sử dụng cùng một cơ sở ngẫu nhiên.

Quản lý vòng đời của hạt giống đảm bảo tính kịp thời và tính nhất quán của tính ngẫu nhiên, đồng thời là sự đảm bảo quan trọng cho hoạt động an toàn của hệ thống.

3. Cơ chế tạo ra các thành phần LLM bằng hạt giống

Bây giờ chúng ta đã hiểu rõ về hệ thống hạt giống, chúng ta cần khám phá cách áp dụng những hạt giống này vào việc tạo ra các thành phần LLM. Đây chính là chìa khóa để đạt được khả năng tái tạo.

3.1 Khởi tạo ngẫu nhiên các trọng số mô hình

Tại sao chúng ta cần khởi tạo ngẫu nhiên trọng số mô hình?

Trong học sâu truyền thống, trọng số mô hình thường được xác định thông qua quá trình tiền huấn luyện. Tuy nhiên, trong PoW 2.0, để đảm bảo:

1. Tính không thể đoán trước của các tác vụ tính toán : Cùng một đầu vào sẽ không tạo ra đầu ra có thể đoán trước được do trọng số cố định

2. Khả năng chống ASIC : Phần cứng chuyên dụng không thể được tối ưu hóa cho trọng lượng cố định

3. Cạnh tranh công bằng : Tất cả các nút đều sử dụng cùng một quy tắc khởi tạo ngẫu nhiên

Nguồn dữ liệu : mlnode/packages/pow/src/pow/random.py#L71-L88

Khởi tạo ngẫu nhiên trọng số mô hình là bước quan trọng để đảm bảo tính công bằng và khả năng tính toán không thể đoán trước.

Quá trình xác định để khởi tạo trọng số

Nguồn dữ liệu : mlnode/packages/pow/src/pow/compute/model_init.py#L120-L125

Các tính năng chính :

• Sử dụng băm khối làm hạt giống ngẫu nhiên để đảm bảo tất cả các nút tạo ra cùng một trọng số

• Sử dụng phân phối chuẩn N(0, 0,02²) để khởi tạo trọng số

• Hỗ trợ các kiểu dữ liệu khác nhau (như float16) để tối ưu hóa bộ nhớ

Quá trình xác định này đảm bảo rằng các nút khác nhau tạo ra chính xác cùng một trọng số mô hình trong cùng một điều kiện.

3.2 Cơ chế tạo vectơ đầu vào

Tại sao chúng ta cần một vectơ đầu vào ngẫu nhiên?

PoW truyền thống sử dụng dữ liệu cố định (chẳng hạn như danh sách giao dịch) làm đầu vào, nhưng PoW 2.0 cần tạo một vectơ đầu vào khác nhau cho mỗi nonce để đảm bảo:

1. Tính liên tục của không gian tìm kiếm : các nonce khác nhau tương ứng với các đường dẫn tính toán khác nhau

2. Kết quả không thể đoán trước : những thay đổi nhỏ trong đầu vào dẫn đến sự khác biệt lớn trong đầu ra

3. Hiệu quả xác minh : Người xác minh có thể nhanh chóng tái tạo cùng một đầu vào

Nguồn dữ liệu : mlnode/packages/pow/src/pow/random.py#L129-L155

Việc tạo ra các vectơ đầu vào ngẫu nhiên đảm bảo tính đa dạng và không thể đoán trước của phép tính.

Cơ sở toán học để tạo đầu vào

Nguồn dữ liệu : mlnode/packages/pow/src/pow/random.py#L28-L40

Tính năng kỹ thuật :

• Mỗi nonce tương ứng với một chuỗi hạt giống duy nhất

• Tạo các vectơ nhúng bằng cách sử dụng phân phối chuẩn chuẩn

• Hỗ trợ tạo lô để nâng cao hiệu quả

Nền tảng toán học này đảm bảo chất lượng và tính nhất quán của các vectơ đầu vào.

3.3 Tạo hoán vị đầu ra

Tại sao chúng ta cần phải xuất ra hoán vị?

Ở lớp đầu ra của LLM, vốn từ vựng thường rất lớn (ví dụ: 32.000-100.000 token). Để tăng độ phức tạp tính toán và ngăn chặn việc tối ưu hóa có mục tiêu, hệ thống sẽ hoán vị ngẫu nhiên các vectơ đầu ra:

Nguồn dữ liệu : mlnode/packages/pow/src/pow/random.py#L158-L167

Hoán vị đầu ra làm tăng độ phức tạp tính toán và cải thiện tính bảo mật của hệ thống.

Cơ chế ứng dụng của sự sắp xếp

Nguồn dữ liệu : Dựa trên logic xử lý trong mlnode/packages/pow/src/pow/compute/compute.py

Mục tiêu thiết kế :

• Tăng độ phức tạp của thách thức tính toán

• Ngăn chặn việc tối ưu hóa các vị trí từ vựng cụ thể

• Duy trì tính quyết định để hỗ trợ xác minh

Cơ chế ứng dụng này đảm bảo tính hợp lệ và nhất quán của thỏa thuận.

4. Tính toán khoảng cách giữa vectơ mục tiêu và hình cầu

Sau khi hiểu được cơ chế tạo ra các thành phần LLM, chúng ta cần khám phá thêm thách thức tính toán cốt lõi trong PoW 2.0 - tính toán khoảng cách giữa vectơ mục tiêu và hình cầu.

4.1 Vectơ mục tiêu là gì?

Vectơ mục tiêu là "mục tiêu chính" của thử thách tính toán PoW 2.0 - tất cả các nút đều cố gắng làm cho đầu ra mô hình của mình càng gần với vectơ đa chiều được xác định trước này càng tốt.

Tính chất toán học của vectơ mục tiêu

Nguồn dữ liệu : mlnode/packages/pow/src/pow/random.py#L43-L56

Các tính năng chính :

• Vectơ nằm trên mặt cầu đơn vị có chiều cao (||mục tiêu|| = 1)

• Sử dụng phương pháp Marsaglia để đảm bảo phân bố đồng đều trên quả cầu

• Tất cả các chiều đều có xác suất được chọn như nhau

Các tính chất toán học của vectơ mục tiêu đảm bảo tính công bằng và nhất quán trong thử thách tính toán.

4.2 Tại sao phải so sánh kết quả trên hình cầu?

Lợi thế toán học

1. Ưu điểm chuẩn hóa : Tất cả các vectơ trên hình cầu đều có độ dài đơn vị, loại bỏ ảnh hưởng của độ lớn vectơ

2. Trực giác hình học : Khoảng cách Euclid trên hình cầu tương ứng trực tiếp với khoảng cách góc

3. Ổn định số : tránh sự bất ổn định tính toán do phạm vi số lớn gây ra

Tính chất đặc biệt của hình học nhiều chiều

Trong không gian có nhiều chiều (chẳng hạn như không gian từ vựng 4096 chiều), phân phối hình cầu có các tính chất phản trực giác:

Những tính chất đặc biệt này làm cho phép tính khoảng cách hình cầu trở thành một phép đo lý tưởng và đầy thách thức về mặt tính toán.

4.3 ước tính r_target và khởi tạo giai đoạn PoC

Khái niệm và tính toán r_target

r_target là một tham số độ khó quan trọng, xác định ngưỡng khoảng cách cho kết quả tính toán "thành công". Kết quả có khoảng cách nhỏ hơn r_target được coi là bằng chứng công việc hợp lệ.

Nguồn dữ liệu : decentralized-api/mlnodeclient/poc.go#L12-L14

Trong Gonka PoW 2.0, giá trị mặc định của r_target được đặt thành 1.4013564660458173. Giá trị này được xác định thông qua thử nghiệm và phân tích thống kê mở rộng, nhằm mục đích cân bằng độ khó tính toán và hiệu quả mạng. Mặc dù hệ thống có cơ chế điều chỉnh động, nhưng trong hầu hết các trường hợp, nó sẽ gần với giá trị mặc định này.

khởi tạo r_target trong giai đoạn PoC

Vào đầu mỗi giai đoạn PoC (Bằng chứng tính toán), hệ thống cần phải:

1. Đánh giá sức mạnh tính toán của mạng : Ước tính tổng sức mạnh tính toán của mạng hiện tại dựa trên dữ liệu lịch sử

2. Điều chỉnh tham số độ khó : Đặt giá trị `r_target` thích hợp để duy trì thời gian khối ổn định

3. Đồng bộ hóa các tham số trên toàn mạng : Đảm bảo tất cả các nút sử dụng cùng một giá trị `r_target`

Triển khai kỹ thuật :

• Giá trị r_target được đồng bộ hóa với tất cả các nút thông qua trạng thái blockchain

• Mỗi giai đoạn PoC có thể sử dụng một giá trị r_target khác nhau

• Thuật toán điều chỉnh thích ứng điều chỉnh độ khó dựa trên tỷ lệ thành công của giai đoạn trước

Cơ chế khởi tạo này đảm bảo hoạt động ổn định và tính công bằng của mạng.

5. Đảm bảo kỹ thuật về khả năng tái tạo

Sau khi hiểu thuật toán cốt lõi, chúng ta cần tập trung vào cách đảm bảo khả năng tái tạo trong quá trình triển khai kỹ thuật. Đây là chìa khóa để đảm bảo hệ thống hoạt động ổn định khi triển khai thực tế.

5.1 Môi trường tính toán xác định

Nguồn dữ liệu : Dựa trên cài đặt môi trường của mlnode/packages/pow/src/pow/compute/model_init.py

Việc thiết lập một môi trường tính toán xác định là cơ sở để đảm bảo khả năng tái tạo.

5.2 Quản lý độ chính xác số

Quản lý độ chính xác số đảm bảo tính nhất quán của kết quả tính toán trên các nền tảng phần cứng khác nhau.

5.3 Khả năng tương thích đa nền tảng

Thiết kế hệ thống có tính đến khả năng tương thích của các nền tảng phần cứng khác nhau:

- CPU so với GPU : Hỗ trợ tạo ra cùng một kết quả tính toán trên cả CPU và GPU

- Các mô hình GPU khác nhau : đảm bảo tính nhất quán thông qua độ chính xác số được chuẩn hóa

- Sự khác biệt về hệ điều hành : sử dụng các thư viện toán học và thuật toán chuẩn

Khả năng tương thích đa nền tảng đảm bảo hệ thống hoạt động ổn định trong nhiều môi trường triển khai khác nhau.

6. Hiệu suất hệ thống và khả năng mở rộng

Trên cơ sở đảm bảo khả năng tái tạo, hệ thống cũng cần có hiệu suất và khả năng mở rộng tốt, đây là chìa khóa để đảm bảo mạng hoạt động hiệu quả.

6.1 Chiến lược song song hóa

Nguồn dữ liệu : mlnode/packages/pow/src/pow/compute/model_init.py#L26-L53

Chiến lược song song hóa tận dụng tối đa sức mạnh tính toán của phần cứng hiện đại.

6.2 Tối ưu hóa bộ nhớ

Hệ thống tối ưu hóa việc sử dụng bộ nhớ thông qua nhiều chiến lược khác nhau:

- Tối ưu hóa hàng loạt : Tự động điều chỉnh kích thước hàng loạt để tối đa hóa việc sử dụng GPU

-Lựa chọn chính xác : Sử dụng float16 để giảm mức sử dụng bộ nhớ

- Quản lý độ dốc : vô hiệu hóa tính toán độ dốc ở chế độ suy luận

Tối ưu hóa bộ nhớ đảm bảo hệ thống hoạt động hiệu quả trong môi trường hạn chế tài nguyên.

Tóm tắt: Giá trị kỹ thuật của thiết kế có thể tái tạo

Sau khi phân tích sâu về thiết kế có thể tái tạo của PoW 2.0, chúng ta có thể tóm tắt những thành tựu kỹ thuật và giá trị kỹ thuật của nó.

Thành tựu công nghệ cốt lõi

1. Quản lý hạt giống đa cấp : Một hệ thống hạt giống hoàn chỉnh từ cấp độ mạng đến cấp độ tác vụ để đảm bảo sự cân bằng giữa tính xác định và tính không thể đoán trước trong tính toán

2. Ngẫu nhiên hóa có hệ thống các thành phần LLM : một khuôn khổ ngẫu nhiên thống nhất cho trọng số mô hình, vectơ đầu vào và hoán vị đầu ra

3. Ứng dụng kỹ thuật của hình học chiều cao : Thiết kế các thử thách tính toán công bằng bằng cách sử dụng các tính chất hình học cầu

4. Khả năng tái tạo đa nền tảng : Đảm bảo tính nhất quán trên các nền tảng phần cứng khác nhau thông qua các thuật toán chuẩn hóa và kiểm soát chính xác

Cùng nhau, những thành tựu kỹ thuật này tạo thành cốt lõi của thiết kế có thể tái tạo của PoW 2.0.

Giá trị sáng tạo của thiết kế hệ thống

Trong khi vẫn duy trì tính bảo mật của blockchain, Gonka PoW 2.0 đã chuyển đổi thành công tài nguyên tính toán từ các phép toán băm vô nghĩa sang các phép tính AI có giá trị. Thiết kế có thể tái tạo của nó không chỉ đảm bảo tính công bằng và bảo mật của hệ thống mà còn cung cấp một mô hình kỹ thuật khả thi cho các mô hình "khai thác có ý nghĩa" trong tương lai.

Tác động kỹ thuật :

• Cung cấp một khuôn khổ thực thi có thể xác minh cho điện toán AI phân tán

• Đã chứng minh được khả năng tương thích của các tác vụ AI phức tạp với sự đồng thuận của blockchain

• Thiết lập các tiêu chuẩn thiết kế cho một loại bằng chứng công việc mới

Thông qua hệ thống hạt giống được thiết kế cẩn thận và thuật toán xác định, Gonka PoW 2.0 đạt được sự chuyển đổi cơ bản từ "bảo mật dựa trên chất thải" truyền thống sang "bảo mật dựa trên giá trị", mở ra con đường mới cho sự phát triển bền vững của công nghệ blockchain.

Lưu ý: Bài viết này dựa trên quá trình triển khai mã thực tế của dự án Gonka. Tất cả các ví dụ mã và mô tả kỹ thuật đều được lấy từ kho mã chính thức của dự án.

Giới thiệu về Gonka.ai

Gonka là một mạng lưới phi tập trung được thiết kế để cung cấp sức mạnh tính toán AI hiệu quả. Mục tiêu thiết kế của nó là tối đa hóa việc sử dụng sức mạnh tính toán GPU toàn cầu để hoàn thành khối lượng công việc AI có ý nghĩa. Bằng cách loại bỏ các cổng kiểm soát tập trung, Gonka cung cấp cho các nhà phát triển và nhà nghiên cứu quyền truy cập không cần cấp phép vào tài nguyên điện toán, đồng thời thưởng cho tất cả người tham gia bằng token GNK gốc.

Gonka được ươm mầm bởi công ty phát triển AI Product Science Inc. của Mỹ. Được thành lập bởi anh em nhà Libermans, những người kỳ cựu trong ngành Web 2 và cựu giám đốc sản phẩm cốt lõi tại Snap Inc., công ty đã huy động thành công 18 triệu đô la vào năm 2023 từ các nhà đầu tư, bao gồm Coatue Management, nhà đầu tư của OpenAI, Slow Ventures, nhà đầu tư của Solana, K5, Insight và Benchmark Partners. Những người đóng góp ban đầu cho dự án bao gồm các công ty hàng đầu trong lĩnh vực Web 2-Web 3, chẳng hạn như 6 Blocks, Hard Yaka, Gcore và Bitfury.

Trang web chính thức | Github | X | Discord | Sách trắng | Mô hình kinh tế | Hướng dẫn sử dụng