DePin トラック着陸アプリケーション表示: ユーティリティ AI コンテナ クラウド使用状況レポート

DePin は、Decentralized Physical Infrastructure Networks の略称です。 DePin の概念の核心は、トークンを使用してユーザーにハードウェア デバイスを導入して、現実世界の商品やサービス、またはコンピューティング能力、ストレージ、ネットワーク帯域幅などのデジタル リソースを提供するよう促すことです。メスライ氏によると、トラック全体の現在の評価額は約90億ドルで、2028年までに3兆5000億ドルに増加すると予想されている。

現在、DePin のコンセプトに準拠したプロジェクトは数多くありますが、その中でも分散 AI コンピューティング能力スケジューリングに焦点を当てた UtilityNet (以下、Utility) は、TPU (AI 専用アクセラレーション チップ) と関連インテリジェントをベースとしたプロジェクトを立ち上げたばかりです。 1 年間の開発を経てコンピューティング サーバー AI コンテナ クラウド テスト プラットフォーム興味のある AI 開発者は、大規模モデルのデプロイと推論のための一定量の AI クラウド コンピューティング能力を取得するために、Utility の公式 Twitter アカウントが公開する電子メール アドレスを通じて、Utility AI コンテナ クラウドのテストへの参加を申請できます。これらのクラウド コンピューティング能力を支えるチップと機器は、現在のクローズド ベータ期間に参加しているユーティリティ マイナーによって提供されます。

ユーティリティは、新しい Proof Of Computation Integrity (略して POCI、中国語訳は「Trusted Computing」) コンセンサス メカニズムを革新的に提案しています。AI 専用チップ内のセキュリティ エンジン モジュールを通じて、チェーン上の暗号化原理と組み合わせることで、チップは次のことが可能になります。自己認証し、コンピューティング能力を失うことなくインセンティブを獲得するという目的を達成します。過去に流行したPOWコンセンサスでは、マイニングの過程で機器の演算能力が使い果たされてしまうため、DePinの考え方とは明らかに矛盾しており、マイニングによって演算能力が消費されてしまうと、実需側に転嫁することができません。したがって、Utility の革新的な POCI コンセンサスは、マイナーからレンタル者へのコンピューティング パワーの流れを真に実現するための現実的なソリューションをトークンに提供します。

AI 開発者として、私は以前から Utility プロジェクトをフォローしていましたが、公式チャネルを通じて Utility AI コンテナ クラウドのベータ版を申請して試してみたので、関連する試用レポートを共有したいと思います。

ユーティリティの分散マイニング インセンティブ原則に基づいて、ユーティリティ AI コンテナ クラウドのユーザー インターフェイスは、異なるユーザーと操作ロジックを区別するためのマイナー管理端末とチップ クライアントを使用して設計されており、ユーティリティ AI コンテナ クラウド内のさまざまなタイプのユーザーが区別できるようになります。プラットフォームは効果的に調整および協力して、マイナーからコンピューティングパワーのレンタル者へのコンピューティングパワーの流れを完了できます。

1. ユーティリティAIコンテナクラウドマイナー管理端末

1.マイナー管理端末の説明書

Utility AIコンテナクラウドマイナー管理端末には独立したアクセス入口ページがあり、ベータ版の現在のアクセスアドレスはhttps://cloud.utlab.io/admin/#/,ログインページは次のとおりです。

2. プラットフォームの監視

Utility AI コンテナ クラウドの監視アーキテクチャは NodeExporter+Prometheus+Grafana であり、そのオブジェクト指向はクラスター監視とトレーニング タスク監視であり、Grafana Web ページの形式で表示されます。 NodeExporter は、さまざまなリソース情報やノードの使用状況を収集し、prometheus がサポートするデータ形式でローカル ファイルに保存できます。 Prometheus は、各ノードの NodeExporter サービスのローカル データ コレクションをプル形式で中央データベースに集約します。 Grafana Web フロントエンド サービスを開始する前に、Prometheus データベース API 呼び出しパスを構成し、Prometheus のデータ インジケーターを定期的にリクエストします。これにより、クラスターおよびプラットフォーム内のすべての AI チップ ユーザーによって実行されているタスクのインジケーター データのマイナー グラフを動的に表示できます。

クラスターの監視

クラスター監視は、Grafana Web ページの形式で管理 Web ページに埋め込まれています。

下図のように、[管理ネットワーク端末へログイン/クラスタ監視]ではクラスタ情報が表示されます。

3. リソース管理

ユーティリティ AI コンテナ クラウド マイナー管理ターミナルは、プラットフォーム ハードウェア リソースの便利な管理をサポートします。プラットフォーム リソース管理モジュールは、サーバー ノード、システム リソース、カスタム リソース、リソース仕様、およびリソース プールに分割できます。

ノード

ノードはサーバーであり、プラットフォームの基礎となるクラスター システムが開始されると、クラスターを形成しているサーバーが自動的に検出され、そのさまざまな属性が検出されます。 IP、ホスト名、割り当てられたラベル、準備完了ステータス、どのようなリソースがあるかなどの詳細情報。

以下に示すように、[マイナー管理ターミナル/リソース管理/ノードにログイン] には、システムによって自動的に検出されたノードのリストが表示されます。

リソース

物理的には、すべてのリソースはサーバー ノード上に組み立てられ、プラットフォーム システムによって自動的に検出されます。これらはシステム リソースです。システムリソースにはさまざまな名前とさまざまな区別形式があり、さまざまなロジックに従って分割できます。

以下に示すように、[マイナー管理ターミナル/リソース管理/リソースにログイン] をクリックすると、自動的に検出されたシステム リソースの一覧が表示されます。

管理、わかりやすい表示、知覚的な利用を容易にするために、プラットフォームはカスタム リソース機能を設計しており、マイナーは既存のシステム リソースを異なるロジックに基づいて新しいカスタム リソースに再定義できます。

以下に示すように、[マイナー管理端末にログイン/リソース管理/リソース/カスタマイズされたリソース] で、システムリソースに応じてカスタムリソースを追加できます - TPU 1684 または TPU 1684 X (1684 シリーズは AI チップの名前です) :

リソース仕様

プラットフォームが所有するリソースをユーザーに適切に表示し、ユーザーのリソース使用に関する統計をより適切に収集するため。プラットフォームは、サーバー上に集められたさまざまな種類のリソースを 1 つのグループにグループ化し、このリソースをグループ化する機能がリソース仕様です。管理者がリソース仕様の名前を定義すると、ユーザーはリソース仕様名からリソース情報を直感的に取得し、独自のタスクの実行に使用するリソース グループを選択できます。

以下に示すように、[管理 Web ページにログイン/リソース管理/リソース仕様] では、すべてのリソースに基づいてリソース仕様 (4 CPU-2 GB-2 TPU 1684) を作成できます。

リソースプール

リソース プールは、クラスター サーバーのリソースを分離するために使用されます。垂直方向に見ると、リソースはサーバー ノードに基づいています。水平方向に見ると、リソースはリソースの仕様が細分化されています。サーバーノードは管理者用であり、リソース仕様はユーザー用です。当然のことながら、リソースをユーザーからより適切に分離して分離したい場合は、リソース プールの概念が必要になります。リソース プールは、リソースを論理的に再分割します。ユーティリティ AI コンテナ クラウドは、サーバー ノードを粒度として取り、リソースをサーバー ノードの形式で異なるリソース プールに分割します。異なるリソース プールをユーザー グループにバインドできます。この形式では、クラスターのリソースを適切に分離でき、異なるリソースを異なるユーザー グループに割り当てることができます。

以下の図に示すように、[マイナー管理ターミナル/リソース管理/リソース プールにログイン] システムに付属するデフォルトのリソース プールの初期化には、すべてのリソース ノードが含まれています。ビジネスの論理：

マイナー管理ターミナルは、プラットフォームのハードウェア リソースの便利な管理をサポートします。プラットフォーム リソース管理モジュールは、サーバー ノード、システム リソース、カスタム リソース、リソース仕様、およびリソース プールに分割できます。

4. マシン時間管理

マイナーは、UNC/マシン時間の価格に基づいてさまざまな AI チップのレンタルコストを設定でき、コンピューティング パワー レンタル ユーザーがチップ レンタル注文を購入すると、AI チップ コンテナ タスクの起動時間が開始され、プラットフォームはそのコストを差し引きます。対応する機械時間。プラットフォームは、リソース仕様に従って UNC/マシン時間の単価を設定し、課金ルールは次のとおりです。

AI チップ コンテナーのタスクのマシン時間 = サブタスク 1 のマシン時間 + サブタスク 2 時間 + ... + サブタスク n のマシン時間

サブタスクのマシン時間 = コピー 1 のマシン時間 + コピー 2 のマシン時間 + ... + コピー n のマシン時間

レプリカマシンの時刻 = リソース仕様 * (コピー実行終了時刻 - コピー実行開始時刻)

マシン時間管理には、マシン時間リスト、充電記録、消費記録が含まれます

ユーザー時間リスト

2. AIコンテナクラウドチップクライアント

1. ユーザーの指示

Utility AIコンテナクラウドチップクライアントのアクセスアドレスは、https://console.utlab.io/utnetai/,ログインページは次のとおりです。

2. 概要

概要ページは、さまざまな状態のトレーニング タスクの数情報、残りのマシン時間情報、消費および再充電記録情報を表示するために使用されます。また、ユーザーが Jupyter ノートブック、アルゴリズム、トレーニング タスク、タスク テンプレート、アルゴリズムを迅速に作成する機能も提供します。 、データセット、ミラーリング機能。

3. モデル開発

Jupyter ノートブックの管理

Jupyter ノートブック管理は、後続のモデル トレーニングをサポートするアルゴリズムのデバッグ、実行、保存のためのオンライン プログラミング環境を提供します。このモジュールはオープンソースの JupterLab をサポートしており、ユーザーは事前に Jupyterlab プログラムを含むイメージを作成する必要があります。ユーザーはノートブックを作成、開く、開始、停止、削除することができ、JupterLab でユーザーが編集したアルゴリズムは自動的に保存されます。

ノートブックを作成する

[作成] ボタンをクリックし、対応するアルゴリズム、画像、データセット (オプション) およびリソースを選択し、[詳細設定] でタスクの数を選択し、[OK] をクリックしてノートブックを作成します。

ノートブックを開く

「開く」ボタンをクリックすると、フローティングウィンドウがポップアップ表示され、対応するサブタスクを選択してノートブックを開きます。

今回は、清華 GLM-6 B から変換された ONNX モデルを展開しようとします。関連する推論は、Nvidia Tesla A 100 40 G に正常に展開されました。今、公式の 4 CPU 2 G + 1 1684 を申請しようとしています。 x 以下に示すように、チップの推論コンテナ環境推論

モデルをアップロードしてコンパイルした後、ディレクトリが決定されました。ノートブックで開いてみると、ディレクトリとコンソールが正常にロードされました。このコンテナでのエクスペリエンスは、従来の AI エンジニアのワークフローとほぼ一致していると言わざるを得ません。このコンテナ クラウドのプロフェッショナリズムを示しています。そして投資, UtilityNet チームに感謝したいと思います。Jupiter と互換性のある完全な環境は、プロットの監視とプロフェッショナルな出力を必要とする開発者にとって非常に使いやすいものです。ノートブックでは、図に示すように、ディレクトリ内の関連する読み込みを確認できます。

次に、コンテナコンソールに入ると、ほぼ完璧なエクスペリエンスですが、トライアルに申請したサーバークラスターがアジアにあるためか、遅延は以前に購入したAWS香港サーバーと基本的に同じです。コンパイルされているため、Python3 で直接実行します。Dev 0 は、割り当てられた SC 7 3 コア BM 1684 X カードの最初のチップです。コマンドで指定して実行します。少し遅れて、推論が成功します。 , そのため、1 枚のカードで 3 つの ChatGLM を並行して実行でき、3 人のユーザーに配布することで並列エクスペリエンスを提供できます。UtilityNet における BM 1684 x の幅広いシナリオに期待が満ちています。関連するテストについては、を参照してください。下の図

ノートを止める

最後に、「停止」ボタンをクリックしてノートブックを停止し、体験と時間を終了します。

3. まとめ

コンテナの申請から 2C PU 4G シングルコア 1684 への割り当てまでのプロセス全体の経験を通じて、関連する AI 開発者やコンピューティング パワー ユーザーにとってスムーズで非常にフレンドリーです。私は、このような強力なコンテナ クラウドがオープン ソースになり、UtilityNet のコンピューティング パワー プロバイダー ノードにワンクリックで導入できるようになるという将来を楽しみにしています。また、2 月に公開される公式のテスト ネットワークと分散コンピューティング パワーの将来にもさらに自信を持っています。来年の３月。