解讀Bittensor:一月上漲400%,AI+Crypto賽道黑馬
原文作者:Knower
原文編譯:Luffy,Foresight News
相關動態:
TAO(Bittensor)流通市值突破15 億美元,已躋身加密貨幣市值前五十

朋友們,好久不見了。我希望你們所有人都能享受到加密貨幣領域最近一些正面的價格走勢。為了獲得豐厚的回報,我決定撰寫一份關於人工智慧加密項目Bittensor 的正式報告。我不是加密貨幣的專家,所以你可能會認為我對人工智能不太熟悉。然而實際上,我在加密貨幣之外花費了大量空閒時間進行人工智能研究,並且在過去3-4 個月中一直在熟悉人工智能領域的重要更新、進步和現有基礎設施。
儘管有一些措辭並不準確且缺乏分析性的推文,但我還是要澄清事實。閱讀完本文內容後,你對Bittensor 的了解將遠遠超過預期。這是一份篇幅有點長的報告,我並不是故意堆砌詞句,這很大程度上是因為大量的圖片和截圖。請不要將文章輸入ChatGPT 來獲取摘要,我在這些內容上投入了大量時間,你無法以這種方式了解整個故事。
當我撰寫這份報告時,一位朋友(他恰好是一個Crypto Twitter KOL)告訴我,“人工智能+ 加密貨幣= 金融的未來” 。當你閱讀本文時,請隨時牢記這一點。
人工智能是加密技術開始統治世界的最後一塊拼圖,還是只是實現我們目標的一小步?答案要靠你自己去找,我只是提供一些值得深思的東西。
背景資訊
用Bittensor 的話來說,Bittensor 本質上是一種用於編寫眾多去中心化商品市場或位於統一代幣系統下的“子網絡”的語言,其目標是將數字市場力量引導到社會最重要的數字商品--人工智能.
Bittensor 的使命是建立一個去中心化網絡,透過獨特的激勵機制和先進的子網路架構,能夠與以前「只有像OpenAI 這樣的巨頭公司才能實現的」模型競爭。最好將Bittensor 想像成一個由互通部件組成的完整系統,一台借助區塊鏈構建的機器,以更好地促進人工智能功能在鏈上的普及。
管理Bittensor 網絡有兩個關鍵參與者,他們是礦工和驗證者。礦工是向網絡提交預先訓練的模型以換取獎勵份額的個人。驗證器負責確認這些模型輸出的有效性和準確性,並選擇最準確的輸出回傳給使用者。例如,Bittensor 用戶請求AI 聊天機器人回答涉及衍生性商品或歷史事實的簡單問題,無論目前在Bittensor 網絡中運行多少個節點,這個問題都會得到回答。
用戶與Bittensor 網絡互動的步驟簡單描述如下:用戶向驗證器發送查詢,驗證器將其傳播給礦工,然後驗證器將礦工輸出進行排名,排名最高的礦工輸出將被發送回給用戶。
這一切都非常簡單。
通過激勵,模型通常提供最佳輸出,Bittensor 創建了一個積極的反饋循環,礦工之間相互競爭,引入更精細、更準確和更高性能的模型,以獲取更大份額的TAO(Bittensor 生態代幣)並促進更積極的用戶體驗。
要成為驗證者,使用者必須成為TAO 的前64 位持有者之一,並在Bittensor 的任何子網路(提供訪問各種形式人工智能的獨立經濟市場)上註冊了UID。例如,子網路1 專注於透過文字提示進行標記預測,子網路5 則專注於圖像生成。這兩個子網可能使用不同的模型,因為它們的任務截然不同,並且可能需要不同的參數、精度以及其他特定功能。
Bittensor 架構的另一個關鍵方面是Yuma Consensus 機制,類似於在整個子網路中分配Bittensor 可用資源的CPU。 Yuma 被描述為PoW 和PoS 的混合體,具有在鏈下傳輸和促進情報的附加功能。雖然Yuma 支撐著Bittensor 的大部分網絡,但子網絡可以選擇加入或不依賴Yuma 共識。具體細節複雜而模糊,而且有各種各樣的子網和相應的Github,所以如果你只想大致了解的話,知道Yuma 共識的自上而下的方法就可以了。

但是模型呢?
與一般看法相反,Bittensor 並不會自己訓練模型。這是一個極其昂貴的過程,只有較大的人工智能實驗室或研究組織才能負擔得起,並且可能需要很長時間。我試圖對Bittensor 中是否包含模型訓練做出絕對回答,但我唯一的發現並不是結論性的。

去中心化訓練機轉有點拗口,但其實也不難理解。 Bittensor 驗證器的任務是「在Falcon Refined Web 6 T 代幣未標記數據集上進行評估礦工產生的模型的連續遊戲」,以根據兩個標準(時間戳和相對於其他模型的損失)對每個礦工進行評分。損失函數是一個機器學習術語,用於描述某種類型的模擬中預測值與實際值之間的差異,代表給定輸入資料和模型輸出的錯誤或不準確程度。

關於損失函數,這是我昨天從Discord 中獲取的sn 9 (相關子網路)的最新表現,請記住,最低損失不一定意味著平均損失:

「如果Bittensor 本身不訓練模型,它還能做什麼嗎?!」
事實上,大型語言模型(LLM)的「創建」過程分為三個關鍵階段,分別是訓練、 微調和情境學習(加入一點推理)。
在我們繼續進行一些基本定義之前,先來看看紅杉資本2023 年6 月關於LLM報告,他們的調查結果為:「通常除了使用LLM API 之外, 15% 的公司從頭開始或以開源庫為基礎構建了自定義語言模型。定制模型訓練比幾個月前顯著增加。這需要自己的計算堆疊、模型中心、託管、訓練框架、實驗追蹤等,這些都來自Hugging Face、Replicate、Foundry、Tecton、Weights Biases、PyTorch、Scale 等深受喜愛的公司。」

從頭開始建立模型是一項艱鉅的任務, 85% 的受訪創始人和團隊不願意進行這項工作。當大多數新創公司和獨立開發人員只想在外部應用程式或基於軟件的服務中利用大語言模型時,自託管的、跟踪結果、創建或導入複雜的培訓場景和各種其他任務的工作量就太大了。對於人工智能產業99% 的人來說,創造出與GPT-4 或Llama 2 相媲美的東西是不可行的。
這就是為什麼像Hugging Face 這樣的平台如此受歡迎,因為你可以在他們的網站下載已經過訓練的模型,這個過程對於人工智能行業的人來說非常熟悉和常見。
微調更加困難,但適合那些希望提供特定利基領域的基於大語言模型的應用或服務的人。這可能是一家法律服務新創公司開發的聊天機器人,其模型根據各種律師特定的數據和範例進行了微調,或者是一家生物技術新創公司正在開發一個模型,該模型專門根據可能存在的生物技術相關訊息進行了微調。

無論目的為何,微調都是為了進一步將個性或專業知識融入你的模型中,使其更適合且更準確地執行任務。雖然不可否認它很有用且更可定制,但每個人都認為它很困難,甚至a16z 也這麼認為:

儘管Bittensor 實際上並未訓練模型,但向網絡提交自己模型的礦工聲稱以某種形式對模型進行微調,儘管這些信息不對公眾公開(或至少很難驗證)。礦工將其模型結構和功能保密以保護其競爭優勢,儘管有些是可用的。

我們舉一個簡單的例子:如果你正在參加一項獎金為100 萬美元的競賽,每個人都在競爭誰擁有表現最好的LLM,如果你的所有競爭對手都在使用GPT-2 ,你是否會透露你正在使用GPT-4 ?雖然事實情況比這個例子所解釋的要複雜,但也沒有太大區別。礦工根據其輸出準確度獲得獎勵,這比微調模型較少或平均性能較差的模型的礦工具有優勢。
我之前提到過情境學習,這可能是我將介紹的非Bittensor 資訊的最後一部分,但情境學習是一個廣泛定義的過程,用於引導語言模型獲得更理想的輸出。推理是模型在評估輸入時不斷經歷的過程,其訓練結果可能會影響輸出標記的準確性。雖然培訓成本高昂,但只有在模型準備好達到團隊在創建模型過程中指定的培訓等級時才會進行培訓。推理總是在發生,並且使用各種附加服務來促進推理過程。
Bittensor 現狀
在了解背景知識後,我將探討有關Bittensor 子網路效能、當前功能以及未來計劃的一些細節。說實話,很難找到關於這個主題的高品質文章。幸運的是,Bittensor 社群成員給我發了一些訊息,但即便如此,形成意見也需要做很多工作。我潛伏在他們的Discord 中尋找答案,在這個過程中我意識到我已經成為會員大約一個月了,但沒有查看過任何頻道(我從不使用Discord,更多的是Telegram 和Slack)。
不管怎樣,我決定看看Bittensor 最初的願景是什麼,我在先前的報告中發現了以下內容:

我將在接下來的幾段中介紹它,但可複合的理論並不成立。這個主題的研究已經有了一些,先前的截圖來自將Bittensor 網絡定義為稀疏混合模型(這個概念是一篇2017 年研究論文提出的)的相同報告。
Bittensor 有許多子網絡,足以讓我覺得有必要在本報告中專門為它們準備整個一小節篇幅。不管你相信與否,儘管這些對於互聯網的實用性至關重要並支撐所有技術,但Bittensor 的網站上沒有專門的部分來介紹這些以及它們的運作方式。我甚至在Twitter 上詢問了一下,但似乎子網路的奧秘只有那些在Discord 中閒逛幾個小時並自行學習每個子網路操作的人才能了解。儘管擺在我面前的任務艱鉅,我還是做一了些工作。
子網1 (通常縮寫為sn 1)是Bittensor 網絡中最大的子網,負責文字產生服務。在sn 1 的前10 名驗證者中(我對其他子網使用相同的前10 名排名),大約有400 萬個TAO 質押,其次是sn 5 (負責圖像生成),它有大約385 萬個TAO質押。順便說一下,所有這些數據都可以在TaoStats上找到。
多模態子網路(sn 4) 擁有約340 萬個TAO,s n3(資料抓取)約有340 萬個TAO,sn 2 (多模態)約有370 萬個TAO。另一個最近快速成長的子網路是sn 11 ,負責文字訓練,與sn 1 的TAO 質押數量相近。
就礦工和驗證者活動而言,sn 1 也是絕對領先者,擁有超過40/128 名活躍驗證者和991/1024 名活躍礦工。 Sn 11 實際上擁有所有子網路中最多的礦工,有2017/2048 個。下圖描述了過去一個半月的子網註冊成本:
目前註冊一個子網路的成本為182.12 TAO,這個數字比10 月份7, 800 TAO 的峰值顯著下降,儘管我不完全確定這個數字是否準確。無論如何,隨著超過22 個註冊子網路以及Bittensor 日益受到關注,我們很可能會在適當的時候看到更多的子網路被註冊。其中一些子網路似乎需要一段時間才能獲得關注。
就其他子網絡而言,sn 9 是一個很酷的子網絡,專門用於訓練:

以下是對Bittensor抓取子網路的說明:

子網路模型非常獨特,是一種機器學習研究中稱為專家混合(MoE)的常見技術的示例,在這個過程中,模型被分成多個部分並提供單獨的標記,而不是被分配一整支任務。這對我來說很有趣,因為Bittensor 不是一個統一的模型,實際上是一個模型網絡,這些模型以半隨機的方式進行查詢。 BitAPI 就是此流程的一個範例,它是一種基於sn 1 建構的產品,可對入站使用者查詢的前10 位礦工進行隨機抽樣。雖然任何給定子網路中可能有數十甚至數百名礦工,但表現最好的模型會獲得更多獎勵。
目前將多個模型組合或複合多個模型以增加或「堆疊」功能並不可行,這不是大語言模型的工作方式。我嘗試與社區成員進行推理,但我認為重要的是要注意,就目前情況而言,Bittensor 不是一個統一模型集合的範例,只是具有不同功能的模型網絡。
有些人將Bittensor 與可存取ML 模型的鏈上預言機進行了比較。 Bittensor 將區塊鏈的核心邏輯與子網路的驗證分開,在鏈外運行模型,以適應更多的數據和更高的運算成本,從而實現更強大的模型。你可能還記得,鏈上完成的唯一過程是推理。請參閱下面的內容了解Bittensor 的解釋:
我認為社區中的許多人過於專注於試圖讓每個人相信Bittensor 將改變世界,而實際上他們只是在努力改變人工智能和加密貨幣互動的方式方面取得了進展。他們不太可能將礦工上傳模型的整個網絡改造為一台極其智慧的超級電腦——這不是機器學習的工作原理。即使是性能最好、成本最高的可用模型,距離實現通用人工智能(AGI) 的定義還需要數年時間。
隨著機器學習社群不斷迭代和新功能的實現,AGI 的定義往往會有所不同,但基本想法是AGI 能夠完全像人類一樣推理、思考和學習。其中的核心難題來自於這樣一個事實:科學家將人類歸類為具有意識和自由意志的生物,而這在人類身上很難量化,更不用說強大的神經網路系統了。
就目前而言,子網路是分解與基於人工智能的應用程式相關的各種任務的獨特方式,社群和團隊有責任吸引希望利用Bittensor 網絡這些核心功能的建構者。
這裡也值得補充的是,Bittensor 在加密貨幣以外的機器學習領域非常有效率。 Opentensor 和Cerebras 早在今年7 月就發布了BTLM-3 b-8 k 開源LLM。從那時起,BTLM 在Hugging Face 上的下載量已超過16, 000 次,並獲得了非常積極的評價。
有人表示,由於BTLM 的輕量級架構,BTLM-3 b 在與Mistral-7 b 和MPT-30 b 相同的類別中排名靠前,成為「每個VRAM 的最佳型號」。下面是來自同一條推文的圖表,列出了模型及其資料可訪問性分類,BTLM-3 b 獲得了不錯的評分:

我在Twitter 上說過Bittensor 沒有做任何事情來加速人工智能研究,所以我認為我在這裡承認自己的錯誤是唯一正確的。此外,我聽說BTLM-3 b 在某些情況下用於驗證,因為它價格便宜且在大多數硬件上運行速度快。
TAO 的用途
別擔心,我沒有忘記代幣。
Bittensor 大量借鑒了比特幣的靈感,同時也藉鑒了OG 教科書的玩法,融入了非常相似的代幣經濟結構,即最多2100 萬個TAO 和每1050 萬個區塊減半的機制。截至撰寫本文時,流通的TAO 數量約為560 萬個,市值近8 億美元。 TAO 的分配被認為是極其公平的,這份Bittensor報告指出早期支持者沒有收到任何代幣,儘管很難驗證真假,但我們相信我們的消息來源。
TAO 既是Bittensor 網絡的獎勵代幣,也是Bittensor 網絡的訪問代幣,TAO 持有者能夠進行質押、參與治理或使用他們的TAO 在Bittensor 網絡上建立應用程序。每12 秒鑄造1 個TAO,新鑄造的代幣將平均分配給礦工和驗證者。
在我看來,TAO 的代幣經濟學很容易設想一個透過減半減少釋放量導致礦工之間競爭加劇的世界,自然會產生更高品質的模型和更好的整體用戶體驗。然而,這裡還存在一個問題,即較少的獎勵會產生相反的效果,並且不會吸引激烈的競爭,而是會導致部署的模型或競爭的礦工數量停滯不前。
我可以繼續談論TAO 的代幣效用、價格前景和成長動力,但前面提到的報告在這方面做得相當好。大多數Crypto Twitter 已經確定Bittensor 和TAO 背後有一個非常可靠的敘述,目前我增加的任何內容都無法進一步錦上添花。從外部角度來看,我想說這些都是相當合理的代幣經濟學,沒有什麼不尋常的事。不過我還是應該要提到,目前購買TAO 非常困難,因為它尚未在大多數交易所上線。這種情況可能會在1-2 個月內發生變化,如果幣安不盡快上線TAO,我會感到非常驚訝。
前景
我絕對是Bittensor 的粉絲,並希望他們能實現自己的大膽使命。正如該團隊在Bittensor Paradigm文章中所說,比特幣和以太坊是革命性的,因為它們實現了金融獲取的民主化,並使完全無需許可的數字市場的概念成為現實。 Bittensor 也不例外,其目標是在龐大的智慧網絡中實現人工智能模型的民主化。儘管有我的支持,但很明顯他們距離他們想要實現的目標還很遠,這對於大多數用加密貨幣建立的項目來說都是如此。這是一場馬拉松,而不是短跑。
如果Bittensor 想要保持領先地位,他們需要繼續推動礦工之間的友好競爭和創新,同時擴展稀疏混合模型架構、MoE 構想以及以去中心化方式複合智能的概念的可能性。獨自完成所有這些工作已經夠困難的了,將加密技術納入其中會使其更具挑戰性。
Bittensor 未來的道路還很長。儘管最近幾週圍繞TAO 的討論有所增加,但我認為大多數加密社區並沒有完全意識到Bittensor 目前的工作原理。有一些明顯的問題沒有簡單的解決方案,其中一些是:a) 是否可以實現高質量大規模推理,b) 吸引用戶的問題和c)追求複合大語言模型的目標是否有意義。
不管你是否相信,支持去中心化貨幣的敘述實際上是一個相當大的挑戰,儘管ETF 的傳言讓這一切變得容易一些。
建立一個由智慧的模型組成的去中心化網絡,這些模型可以相互迭代和學習,聽起來好得令人難以置信,部分原因是事實確實如此。在目前的背景視窗和大語言模型的限制下,不可能有一個模型能夠一遍又一遍地自我改進,直到達到與AGI 的程度,即使是最好的模型也仍然是有限的。儘管如此,我認為將Bittensor 建構成一個具有新穎的經濟激勵和內置可組合性的去中心化LLM 託管平台不僅僅是積極的,它實際上是目前加密領域最酷的實驗之一。
將經濟誘因融入人工智慧系統面臨挑戰,Bittensor 表示,如果礦工或驗證者試圖以任何形式對系統進行博弈,他們將根據具體情況調整激勵機制。以下是今年6 月的範例,代幣釋放量減少了90% :

這在區塊鏈系統中是完全可以預料到的,所以我們不要假裝比特幣或以太坊在整個生命週期中100% 都是完美的。
對外人來說,加密貨幣的採用歷來都是難以下嚥的藥丸,而人工智能也同樣有爭議,甚至更具爭議性。將兩者結合起來會給任何人帶來維持用戶成長和活躍的挑戰,這需要一些時間。如果Bittensor 最終能夠實現複合大語言模型的目標,這可能是一件意義非凡的事情。


