原作者: hmalviya 9

オリジナル編集: Frank、Foresight News

編集者注: 2017 年に出版された論文「Attending Is All You Need」は、これまでに 110,000 回以上引用されており、今日の ChatGPT に代表される大規模モデル技術の起源の 1 つであるだけでなく、Transformer アーキテクチャを導入しています。また、Sora や AlphaFold など、世界を変える可能性のある多くの AI テクノロジーでも広く使用されています。

「必要なのは注意だけ」この研究論文は、現代の人工知能 (AI) の未来を完全に変えます。この記事では、Transformer モデルと AI の将来について詳しく説明します。

2017 年 6 月 12 日、Google の 8 人のエンジニアが、現代の AI の未来を変えるニューラル ネットワーク アーキテクチャについて論じた「Attending Is All You Need」という研究論文を発表しました。

2024 年 3 月 21 日過ぎに開催された GTC カンファレンスで、NVIDIA 創設者のファン ジェンセン氏は、8 人の Google エンジニアとグループ ディスカッションを行い、最新の AI を可能にする Transformer アーキテクチャの導入に感謝の意を表しました。 8人中。

トランスフォーマーとは何ですか?

Transformer はニューラル ネットワークです。

ニューラルネットワークとは何ですか?人間の脳の構造と機能にヒントを得ており、相互に接続された多数の人工ニューロンを通じて情報を処理しますが、人間の脳を完全に再現したものではありません。

簡単に言うと、人間の脳はアマゾンの熱帯雨林のようなもので、さまざまな領域とそれらの領域をつなぐ多くの経路があります。ニューロンはこれらの経路間のコネクターのようなもので、熱帯雨林のあらゆる場所に信号を送受信できるため、接続は経路そのものであり、2 つの異なる脳領域を接続する役割を果たします。

これにより、私たちの脳に非常に強力な学習能力が与えられ、迅速に学習し、パターンを認識し、正確な出力を提供できるようになります。 Transformer のようなニューラル ネットワークは人間の脳と同じ学習能力を達成しようとしていますが、現在の技術レベルは人間の脳の 1% 未満です。

トランスフォーマーは近年、生成 AI において目覚ましい進歩を遂げています。現代の人工知能の進化を振り返ると、初期の人工知能は主に Siri やその他の音声認識アプリケーションのようなものであったことがわかります。

これらのアプリケーションはリカレント ニューラル ネットワーク (RNN) を使用して構築されています。 RNN にはいくつかの制限がありますが、Transformer によって対処および改善されています。Transformer では、任意のシーケンスのすべての部分を同時に分析できるようにするセルフアテンション メカニズムを導入し、それによって長距離の依存関係とコンテキスト コンテンツをキャプチャします。

私たちは、Transformer のイノベーション サイクルのまだ初期段階にあります。 Transformer には、XLNet、BERT、GPT など、いくつかの異なる派生製品があります。

GPT が最もよく知られていますが、イベント予測の機能はまだ限られています。

大規模言語モデル (LLM) が過去のデータとパターンに基づいてイベントを予測できるようになれば、現代の AI は次の大きな飛躍を遂げ、汎用人工知能 (AGI) への道が加速することになります。

この予測力を実現するために、大規模言語モデル (LLM) は、さまざまなデータセットに基づいて将来の値を予測し、その予測を説明することもできるモデルである時間融合トランスフォーマー (TFT) を採用しています。

TFT は予測に使用されるだけでなく、ブロックチェーン分野でも使用できます。モデル内で特定のルールを定義することにより、TFT は次の操作を自動的に実行できます。つまり、コンセンサス プロセスを効果的に管理し、ブロック生成の速度を向上させ、誠実なバリデータに報酬を与え、悪意のあるバリデータを罰します。

ブロックチェーンネットワークは基本的に、投票履歴、ブロック提案履歴、スラッシュ履歴、ステーキング量、アクティビティ、およびその他の多数のパラメーターに基づいて、より高い評価スコアを持つバリデーターに、より大きなブロック報酬を提供できます。

パブリック チェーンのコンセンサス メカニズムは本質的にバリデーター間のゲームであり、バリデーターの 3 分の 2 以上が次のブロックを作成する人について同意する必要があります。このプロセス中に、多くの意見の相違や議論が生じる可能性があり、これはイーサリアムなどのパブリック チェーン ネットワークの非効率性の要因でもあります。

TFT は、ブロック時間を改善し、ブロック生成の評判に基づいてバリデータに報酬を与えることで効率を向上させるコンセンサス メカニズムとして使用できます。たとえば、TFT モデルをコンセンサス プロセスに適用する BasedAI は、このモデルを使用して、バリデーターとネットワーク参加者の間でトークンの発行を割り当てます。

BasedAI はまた、FHE テクノロジーを使用して、開発者がプライバシーを保護する大規模言語モデル (Zk-LLM) を「Brains」と呼ばれる分散型 AI インフラストラクチャ上でホストできるようにすることも提案しています。FHE テクノロジーを大規模言語モデルに統合することで、ユーザーを保護できます。 パーソナライズされた AI サービスを有効にすることを選択した場合のプライバシー データ。

人々が自分のデータが暗号化され完全にプライベートであるという確信を持ってデータを提供することになれば、おそらく汎用人工知能 (AGI) の画期的な進歩が達成されるでしょう。このギャップは、nillionnetwork Blind Computation などのプライバシー重視のテクノロジーによって埋められています。 、ゼロ知識機械学習 (ZkML) および準同型暗号化 (FHE) テクノロジー。

ただし、これらのプライバシー重視のテクノロジーはすべて大量のコンピューティング リソースを必要とするため、適用の初期段階にあります。