Hiển thị ứng dụng đích theo dõi DePin: Báo cáo sử dụng đám mây container tiện ích AI

DePin là tên viết tắt của Mạng cơ sở hạ tầng vật lý phi tập trung. Cốt lõi của khái niệm DePin là sử dụng mã thông báo để thúc đẩy người dùng triển khai các thiết bị phần cứng để cung cấp hàng hóa và dịch vụ trong thế giới thực hoặc tài nguyên kỹ thuật số như sức mạnh tính toán, lưu trữ và băng thông mạng. Theo Messrai, định giá hiện tại của toàn bộ đường đua là khoảng 9 tỷ USD và dự kiến ​​sẽ tăng lên 3,5 nghìn tỷ USD vào năm 2028.

Hiện tại có nhiều dự án phù hợp với khái niệm DePin, trong số đó, UtilityNet (sau đây gọi là Utility), tập trung vào lập kế hoạch sức mạnh tính toán AI phân tán, vừa khởi động một dự án dựa trên TPU (chip tăng tốc chuyên dụng AI) và thông minh liên quan. máy chủ điện toán sau một năm phát triển Nền tảng thử nghiệm đám mây container AI. Các nhà phát triển AI quan tâm có thể đăng ký tham gia thử nghiệm đám mây vùng chứa AI tiện ích thông qua địa chỉ email do tài khoản Twitter chính thức của Utility công bố, để có được sức mạnh điện toán đám mây AI nhất định cho việc triển khai và suy luận mô hình lớn. Các chip và thiết bị đằng sau sức mạnh điện toán đám mây này được cung cấp bởi những người khai thác Tiện ích tham gia giai đoạn beta kín hiện tại.

Utility đề xuất một cách sáng tạo cơ chế đồng thuận Proof Of Computation Integrity (POCI gọi tắt là POCI, dịch sang tiếng Trung là “Trusted Computing”). Thông qua mô-đun công cụ bảo mật bên trong chip chuyên dụng AI, kết hợp với các nguyên tắc mật mã trên chuỗi, chip có thể tự chứng nhận, để đạt được mục đích nhận được ưu đãi mà không làm mất khả năng tính toán. Bởi vì sự đồng thuận POW phổ biến trước đây đã làm cạn kiệt sức mạnh tính toán của thiết bị trong quá trình khai thác, điều này rõ ràng là mâu thuẫn với khái niệm DePin, nếu sức mạnh tính toán bị tiêu thụ bởi việc khai thác thì nó không thể được chuyển sang phía nhu cầu thực tế. Do đó, sự đồng thuận POCI đổi mới của Utility cung cấp một giải pháp thực tế cho Token của nó để thực sự hiện thực hóa luồng sức mạnh tính toán từ người khai thác đến người thuê.

Với tư cách là một nhà phát triển AI, tôi đã theo dõi dự án Utility một thời gian. Sau khi đăng ký và dùng thử phiên bản beta của đám mây container Utility AI thông qua kênh chính thức, tôi muốn chia sẻ với các bạn báo cáo thử nghiệm có liên quan.

Dựa trên nguyên tắc khuyến khích khai thác phi tập trung của Tiện ích, giao diện người dùng của đám mây vùng chứa Tiện ích AI được thiết kế với thiết bị đầu cuối quản lý công cụ khai thác và máy khách chip để phân biệt những người dùng khác nhau và logic hoạt động, sao cho các loại người dùng khác nhau trong đám mây vùng chứa Tiện ích AI nền tảng có thể Phối hợp và hợp tác một cách hiệu quả để hoàn thiện luồng sức mạnh tính toán từ người khai thác đến người thuê sức mạnh tính toán.

1. Thiết bị đầu cuối quản lý công cụ khai thác đám mây container tiện ích AI

1. Hướng dẫn sử dụng thiết bị đầu cuối quản lý thợ mỏ

Thiết bị đầu cuối quản lý công cụ khai thác đám mây vùng chứa tiện ích AI có trang truy cập độc lập. Địa chỉ truy cập hiện tại cho phiên bản beta làhttps://cloud.utlab.io/admin/#/,Trang đăng nhập như sau:

2. Giám sát nền tảng

Kiến trúc giám sát của đám mây vùng chứa tiện ích AI là NodeExporter+Prometheus+Grafana và hướng đối tượng của nó là giám sát cụm và giám sát nhiệm vụ đào tạo, được hiển thị dưới dạng trang web Grafana. NodeExporter có thể thu thập nhiều thông tin tài nguyên khác nhau và cách sử dụng các nút, đồng thời lưu trữ chúng trong các tệp cục bộ ở định dạng dữ liệu được prometheus hỗ trợ. Prometheus tổng hợp việc thu thập dữ liệu cục bộ của dịch vụ NodeExporter của mỗi nút vào cơ sở dữ liệu trung tâm của nó dưới dạng Kéo. Trước khi bắt đầu dịch vụ giao diện người dùng web Grafana, hãy định cấu hình đường dẫn lệnh gọi API cơ sở dữ liệu Prometheus và thường xuyên yêu cầu chỉ báo dữ liệu của Prometheus. Điều này có thể tự động hiển thị cho người khai thác biểu đồ dữ liệu chỉ báo cho các tác vụ được chạy bởi tất cả người dùng chip AI trong cụm và nền tảng.

Giám sát cụm

Giám sát cụm được nhúng vào trang web quản lý dưới dạng trang web Grafana.

Như thể hiện trong hình bên dưới, [Đăng nhập vào thiết bị đầu cuối/giám sát cụm mạng quản lý] hiển thị thông tin cụm:

3. Quản lý tài nguyên

Tiện ích đầu cuối quản lý khai thác đám mây container AI hỗ trợ quản lý thuận tiện tài nguyên phần cứng nền tảng. Mô-đun quản lý tài nguyên nền tảng có thể được chia thành các nút máy chủ, tài nguyên hệ thống, tài nguyên tùy chỉnh, thông số tài nguyên và nhóm tài nguyên.

nút

Các nút là máy chủ, khi hệ thống cụm cơ bản của nền tảng được khởi động, nó sẽ tự động khám phá các máy chủ đã hình thành cụm và khám phá các thuộc tính khác nhau của chúng. Thông tin chi tiết như IP, Tên máy chủ, nhãn được gán, trạng thái Sẵn sàng, tài nguyên nó có, v.v.

Như được hiển thị bên dưới, [Đăng nhập vào Thiết bị đầu cuối quản lý công cụ khai thác/Quản lý tài nguyên/Nút] hiển thị danh sách các nút được hệ thống tự động phát hiện:

nguồn

Về mặt vật lý, tất cả các tài nguyên được tập hợp trên các nút máy chủ và được hệ thống nền tảng tự động phát hiện, đó là tài nguyên hệ thống. Tài nguyên hệ thống có nhiều tên khác nhau và nhiều hình thức phân biệt khác nhau và chúng có thể được phân chia theo nhiều logic khác nhau.

Như được hiển thị bên dưới, [Đăng nhập vào Thiết bị đầu cuối quản lý công cụ khai thác/Quản lý tài nguyên/Tài nguyên] hiển thị danh sách các tài nguyên hệ thống được phát hiện tự động:

Để tạo điều kiện thuận lợi cho việc quản lý, hiển thị thân thiện và sử dụng theo cảm nhận, nền tảng đã thiết kế một chức năng tài nguyên tùy chỉnh. Người khai thác có thể xác định lại tài nguyên hệ thống hiện có thành tài nguyên tùy chỉnh mới dựa trên logic khác nhau.

Như hình bên dưới, [Đăng nhập vào thiết bị đầu cuối quản lý thợ mỏ/Quản lý tài nguyên/Tài nguyên/Tài nguyên tùy chỉnh] có thể thêm tài nguyên tùy chỉnh theo tài nguyên hệ thống - TPU 1684 hoặc TPU 1684 X (dòng 1684 là tên của chip AI) :

Đặc tả tài nguyên

Để hiển thị tốt hơn các tài nguyên thuộc sở hữu của nền tảng cho người dùng và thu thập số liệu thống kê tốt hơn về việc sử dụng tài nguyên của người dùng. Nền tảng nhóm các loại tài nguyên khác nhau được tập hợp trên máy chủ thành một nhóm. Chức năng nhóm tài nguyên này là đặc tả tài nguyên. Sau khi quản trị viên xác định tên của đặc tả tài nguyên, người dùng có thể lấy thông tin tài nguyên một cách trực quan từ tên đặc tả tài nguyên và chọn nhóm tài nguyên mà họ muốn sử dụng để chạy các tác vụ của riêng mình.

Như được hiển thị bên dưới, [Đăng nhập vào trang web quản lý/Quản lý tài nguyên/Thông số tài nguyên] có thể tạo thông số tài nguyên (4 CPU-2 GB-2 TPU 1684) dựa trên tất cả các tài nguyên:

Hồ bơi tài nguyên

Nhóm tài nguyên được sử dụng để cô lập tài nguyên máy chủ cụm. Nhìn theo chiều dọc, tài nguyên dựa trên các nút máy chủ. Nhìn theo chiều ngang, các tài nguyên được trình bày chi tiết với các đặc tả tài nguyên. Các nút máy chủ dành cho quản trị viên và thông số kỹ thuật tài nguyên dành cho người dùng. Đương nhiên, nếu bạn muốn tách riêng và cách ly tài nguyên khỏi người dùng tốt hơn, bạn cần có khái niệm về nhóm tài nguyên. Nhóm tài nguyên được phân chia lại một cách hợp lý. Đám mây chứa AI tiện ích lấy các nút máy chủ làm mức độ chi tiết và phân chia tài nguyên thành các nhóm tài nguyên khác nhau dưới dạng nút máy chủ. Các nhóm tài nguyên khác nhau có thể được liên kết với các nhóm người dùng. Ở dạng này, các tài nguyên của cụm có thể được cách ly tốt và các tài nguyên khác nhau có thể được phân bổ cho các nhóm người dùng khác nhau.

Như được hiển thị trong hình bên dưới, [Đăng nhập vào Thiết bị đầu cuối quản lý công cụ khai thác/Quản lý tài nguyên/Nhóm tài nguyên] Việc khởi tạo nhóm tài nguyên mặc định đi kèm với hệ thống bao gồm tất cả các nút tài nguyên. Bạn cũng có thể nhấp vào nút để tạo nhóm tài nguyên mới theo các nhu cầu khác nhau. logic kinh doanh:

Thiết bị đầu cuối quản lý công cụ khai thác hỗ trợ quản lý thuận tiện tài nguyên phần cứng nền tảng. Mô-đun quản lý tài nguyên nền tảng có thể được chia thành các nút máy chủ, tài nguyên hệ thống, tài nguyên tùy chỉnh, thông số tài nguyên và nhóm tài nguyên.

4. Quản lý thời gian máy

Người khai thác có thể đặt chi phí thuê các chip AI khác nhau dựa trên giá UNC/giờ máy. Khi người dùng cho thuê sức mạnh máy tính mua đơn đặt hàng thuê chip, thời gian khởi động tác vụ vùng chứa chip AI sẽ bắt đầu và nền tảng sẽ khấu trừ số tiền đó. giờ máy tương ứng. Nền tảng đặt đơn giá UNC/giờ máy theo thông số kỹ thuật của tài nguyên và quy tắc thanh toán như sau:

Thời gian máy tác vụ của bộ chứa chip AI = nhiệm vụ phụ 1 thời gian máy + nhiệm vụ phụ 2 giờ + ... + nhiệm vụ phụ n thời gian máy

Thời gian máy tác vụ con = Thời gian sao chép 1 máy + Thời gian sao chép 2 máy + ... + Thời gian sao chép n máy

Thời gian máy sao chép = đặc tả tài nguyên * (thời gian kết thúc chạy bản sao - thời gian bắt đầu chạy bản sao)

Quản lý thời gian của máy bao gồm danh sách thời gian của máy, hồ sơ nạp tiền và hồ sơ tiêu thụ

Danh sách thời gian của người dùng

2. Máy khách chip đám mây container AI

1. Hướng dẫn sử dụng

Địa chỉ truy cập của ứng dụng khách chip đám mây container tiện ích AI làhttps://console.utlab.io/utnetai/,Trang đăng nhập như sau:

2. Tổng quan

Trang tổng quan được sử dụng để hiển thị số lượng thông tin về nhiệm vụ đào tạo ở các trạng thái khác nhau, thông tin về thời gian còn lại của máy, thông tin về mức tiêu thụ và nạp tiền, đồng thời cung cấp cho người dùng khả năng tạo nhanh sổ ghi chép Jupyter, thuật toán, nhiệm vụ đào tạo, mẫu nhiệm vụ, thuật toán , tập dữ liệu và chức năng phản chiếu. .

3. Phát triển mô hình

Quản lý máy tính xách tay Jupyter

Quản lý sổ ghi chép Jupyter cung cấp môi trường lập trình trực tuyến để gỡ lỗi, chạy và lưu các thuật toán nhằm hỗ trợ đào tạo mô hình tiếp theo. Mô-đun này hỗ trợ JupterLab mã nguồn mở và người dùng cần tạo trước một hình ảnh chứa chương trình Jupyterlab. Người dùng có thể tạo, mở, bắt đầu, dừng và xóa sổ ghi chép. Các thuật toán do người dùng chỉnh sửa trong JupterLab sẽ được lưu tự động.

Tạo một cuốn sổ tay

Nhấp vào nút Tạo, chọn thuật toán, hình ảnh, tập dữ liệu (tùy chọn) và tài nguyên tương ứng. Bạn có thể chọn số lượng tác vụ trong Cài đặt nâng cao và nhấp OK để tạo sổ ghi chép.

Mở sổ ghi chép

Bấm vào nút Mở, một cửa sổ nổi sẽ bật lên, chọn nhiệm vụ con tương ứng và mở sổ ghi chép

Lần này chúng tôi thử triển khai mô hình ONNX, được chuyển đổi từ Tsinghua GLM-6 B. Lý do liên quan đã được triển khai thành công trên Nvidia Tesla A 100 40 G. Bây giờ chúng tôi đang cố gắng đăng ký 4 CPU chính thức 2 G + 1 1684 x Suy luận về môi trường chứa của chip, như hình bên dưới

Sau khi tải mô hình lên và biên dịch, thư mục đã được xác định. Tôi đã thử mở nó trong notebook và tải thành công thư mục và bảng điều khiển. Tôi phải nói rằng trải nghiệm trong vùng chứa này gần như phù hợp với quy trình làm việc của kỹ sư AI truyền thống, vốn cho thấy tính chuyên nghiệp và đầu tư của đám mây container này, tôi muốn gửi lời khen ngợi đến nhóm UtilityNet. Môi trường đầy đủ tương thích với Jupiter thực sự thân thiện với các nhà phát triển cần giám sát cốt truyện và đầu ra chuyên nghiệp. Trong sổ ghi chép, bạn có thể thấy quá trình tải có liên quan trong thư mục như trong hình

Tiếp theo vào container console và trải nghiệm gần như hoàn hảo, có lẽ do cụm máy chủ đăng ký dùng thử ở châu Á nên độ trễ về cơ bản giống như máy chủ AWS Hong Kong mua trước đó. Bởi vì nó đã được biên dịch nên chúng tôi chạy trực tiếp với Python3. Dev 0 là chip đầu tiên của tôi trong thẻ ba lõi BM 1684 X SC 7 được giao. Tôi chỉ định và chạy nó thông qua lệnh. Sau một khoảng thời gian trễ ngắn, suy luận thành công . , do đó, một thẻ có thể chạy song song ba ChatGLM và cung cấp trải nghiệm song song bằng cách phân phối cho ba người dùng. Chúng tôi rất kỳ vọng vào nhiều kịch bản đa dạng của BM 1684 x ​​​​trong UtilityNet. Để biết các thử nghiệm liên quan, vui lòng tham khảo Hình bên dưới

Dừng sổ tay

Cuối cùng nhấn nút Stop để dừng cuốn sổ và kết thúc trải nghiệm cũng như thời gian.

3. Tóm tắt

Thông qua toàn bộ trải nghiệm quá trình, từ đăng ký vùng chứa, đến phân bổ nó cho lõi đơn 2C PU 4G 1684. Nó diễn ra mượt mà và rất thân thiện với các nhà phát triển AI có liên quan và người dùng năng lực điện toán. Tôi phải mong đợi tương lai của một đám mây container mạnh mẽ như vậy sẽ là nguồn mở và triển khai chỉ bằng một cú nhấp chuột trên các nút nhà cung cấp năng lượng điện toán của UtilityNet. Tôi cũng tin tưởng hơn vào mạng thử nghiệm công cộng chính thức và tương lai của sức mạnh điện toán phân tán vào tháng 2- Tháng ba năm sau.