太和觀察：對於分佈式雲存儲賽道的研究和思考

特邀专栏作者

2020-09-29 10:06

本文約12988字，閱讀全文需要約19分鐘

分佈式存儲的確解決了當前一些中心化存儲的問題，未來一定在萬億市場規模的存儲市場上佔據一定的份額。

By a hundred thousand years ago things started to look pretty different, for starting to organize in various different ways things started picking up speed around ten thousand various different ways, things started picking up speed around ten thousand years ago with different kinds of innovations and so on, and it kept getting crazier .

二級標題

導讀：分佈式存儲技術興起的背景

根據IDC預測，到2022年，由數字拉動的經濟產值將佔全球GDP的60%，⽽中國數字經濟產值佔⽐將超過全球平均⽔平，達到65%。隨著數字化進程的加速以及智能化⽬標的推進，企業產⽣的數據將持續增⻓，數據呈海量、多元發展趨勢；多雲和雲-邊-端等部署環境更加複雜，企業對數據的實時性和可靠性的要求也越來越⾼，當前的中心化數據存儲的模式急需被改造，適應全新的互聯網數據結構和日益膨脹的需求。

Web3.0會是當代互聯網邁向下一世代的自然進化，下一代互聯網必須滿足機器智能，萬物互聯的鏈接需求。當人們開始展望這個全新的Web3.0時代，都會發現當代數據存儲體系（中心化雲存儲輔以端測存儲）都與Web3.0的需求相背離，而這恰恰是去中心化存儲的巨大機遇，去中心化存儲勢必成為Web3.0時代必要的支撐。

去中心化存儲最大的意義在於能夠讓人與機器，機器與機器之間交互而產生的大量邊緣化數據以分佈式存儲的協議來儲存，再利用區塊鏈技術添加信任寫作層，讓每個個體都可以參與網絡的治理，每個個體可以在網絡裡參與按勞分配，能拿到激勵，這將是區塊鏈技術充分發揮效用的重要領域。

分佈式存儲將數據從遠距離的中心化服務器端遷移到離數據更近的邊緣存儲設備端，具有更低的網絡通信開銷、更低的交互延遲和帶寬成本，能為邊緣計算提供實時可靠的數據存儲和訪問。

本文具體闡述了：

中心化存儲的遇到的問題；

解析了成功的去中心化存儲應該具備的條件。

一級標題

當前的中心化雲存儲就是將儲存資源放到雲上供人存取的一種存儲方案，而這種中心化雲存儲的方式更加將數據集中化，涉及的數據量也更大，海量的數據集中化存儲極易受攻擊，對於數據的隱私性、安全性、和持續性都出現了前所未有的巨大風險。

二級標題

數據洩漏增速，來源：Identity Theft Resource Center

二級標題

雲端實時數據不斷走高，來源：IDC

二級標題

因此存儲技術的發展即便是到了今天的地步仍然面臨巨大的挑戰。而這些問題都和人為因素及中心化的運營及管理密切相關。想要徹底解決這些問題，必須從去中心化的角度入手。於是業界便把目光投向了區塊鏈技術。基於區塊鏈技術的去中心化存儲方案便應運而生。

一級標題

2 去中心存儲存在的意義是什麼？

當我們重新思考將區塊鏈的思維和結構應用到去中心化存儲的解決方案中，為當下的數據存儲開闢出了一條更優的路徑。

二級標題

這樣的存儲方式也更加適合當下以及未來的數據存儲結構。

二級標題

而區塊鏈技術已經在加密貨幣領域取得了成功，並且證明了可以通過其安全性、效率和非中央集權控制的方式，實現一種民主化的數據管理方式，並將所有權重新歸還到用戶手中，就是基於區塊鏈技術的分佈式存儲技術。

二級標題

分佈式存儲更能適應這種高速膨脹的數據結構，分佈式存儲本質上是一個分散的分佈式分類賬。塊鏈技術作為一種不斷增長的鏈數據結構，通過網絡中的多個節點參與數據的計算和記錄，並驗證其信息的有效性。從這個角度來看，區塊鏈技術也是一種特定的數據庫技術。由於分散數據庫的安全性和便利性，許多業內人士對其發展持樂觀態度，認為它是對現有Internet技術的一種升級和補充。

圖片描述

下一代互聯網的數據結構一定是非結構數據佔大多數，邊緣化數據佔大多數，這樣的數據結構下只能選擇去中心化的存儲協議。

3 去中心化存儲項目案例簡析

二級標題

3.1 代表性項目

下面我們對現有的分佈式存儲項目做了一個概括和對比：

二級標題

BitTorrent簡稱BT，是一種開源的內容分發協議，由布拉姆科恩於2003年自主開發。它採用高效的軟件分發系統和點對點技術共享大體積文件（如一部電影或電視節目），並使每個用戶像網絡重新分配結點那樣提供上傳服務。常用的應用軟件包括BitTorrent、μTorrent等。

雖然BitTorrent是最早的去中心化存儲項目，但因其缺乏完善的激勵機制，因而只能稱之為去中心化存儲模式的雛形，基於TRON波長的BTT代幣也只是藉了BitTorrent的故事，並沒有真正為BitTorrent賦能。

二級標題

3.3 Filecoin（IPFS官方協議激勵層）——去中心化存儲項目的龍頭項目

Filecoin 是基於IPFS(InterPlanetary File System) 協議的激勵機制及公鏈系統，IPFS 協議定義了文件在分佈式系統中如何存儲、檢索和傳輸，能永久、去中心化保存和共享文件，這是一種內容可尋址、點對點分佈式協議。

IPFS所應用的場景已高達100多個。不僅是京東、華為在佈局IPFS，微軟、谷歌、火狐等也加入了IPFS應用，從這方面可以顯示出IPFS的發展迅速。未來，無論文字、圖片，還是視頻，各種用戶想要存儲的內容，都有可能通過IPFS來實現。

二級標題

3.4 Crust——基於波卡生態的IPFS兼容分佈式存儲項目

基於TEE 可信執行環境技術，Crust 提出了MPoW（Meaningful Proof of Work）譯為有意義的工作量證明機制,來統計節點的存儲工作量並報告到鏈上。同時Crust 團隊又獨創了一種以存儲資源定義額度的PoS 共識算法，叫GPoS（Guaranteed Proof of Stake）工作量報告連同其它交易一起記錄並打包到區塊中計算一個Staking 額度，再根據這個額度，進行PoS 共識。

二級標題

Storj Labs公司的營利性方面是：它向數千名用戶出租網絡，並為網絡使用收費。這是一個稍微集中的模式，與Dropbox和Google Drive等競爭。他們還與Microsoft Azure建立了合作夥伴關係，以部署他們的一些開發工具。

二級標題

從終端角度來看，在Swarm中除了上傳操作不是發生在特定服務器上外，Swarm與互聯網並沒有多少不同。

二級標題

Sia通過允許用戶“出租”他們未使用的硬盤空間，這樣能夠顯著降低用戶雲存儲的開銷成本，因此很多人把Sia稱為硬盤驅動的Airbnb。 Sia是完全私密的，沒有私鑰無法查看數據文件。

二級標題

同時，不少社區開發者也指出，Arweave 存證的應用場景較窄，目前其存儲的最多的以推特上的自由主義言論截圖為主。同時，Arweave 的特性是永不可篡改，加大了程序開發上的難度。

一級標題

4 “存儲賽道”項目成功的核心要素

縱觀當前的區塊鏈生態，區塊鏈底層廣泛被用於信任凝聚，但在實現去中心化應用的道路上又常常欠缺大量存儲資源的支撐，因此我們認為去中心化存儲依然屬於新生階段，是一個非常有潛力的發展方向。

我們看到一個成功的去中心化存儲項目應該具備以下特徵：

4）優秀的團隊：我們看到成功的去中心化存儲項目的團隊大多擁有搭建去中心化存儲的能力和設計通證經濟模型的能力

二級標題

4.1 堅實的技術基礎

在文件共享方式上，去中心化存儲系統文件共享方式與中心化存儲截然不同，中心化存儲系統的大型文件上傳後，文件以整體或切片的形式存儲在單一或分佈式的網絡或服務器上，需要及其高效的開發、運營團隊來維持其運轉。然而，去中心化存儲必須使用分佈式存儲技術，初始種子節點（最初擁有完整文件資源的節點）在將大型文件進行切片處理後，使其產生多個Pieces，每個Piece分別存儲在不同的節點上，每個一般節點在下載單個Piece並上傳到去中心化存儲網絡中讓其他節點下載後成為這個Piece的種子節點，在多個節點完成相互共享Piece的過程中，實現Piece在除初始種子節點之外的節點共享，並不斷擴大該文件共享網絡中的節點數。所以，在同一時刻其他條件不變時，隨著下載人數的增多，下載同一內容的速度越快。因此，去中心化存儲系統彌補了中心化存儲系統傳輸速度慢的缺陷，同時克服了單點故障並保證了數據的安全性。

IPFS 是中心化存儲領域的開創者，從2014 年上線開始，如同BT 一般自由生長，已經存儲了大量數據。但是要讓IPFS 成為商業可用的存儲系統，而不是隨意的數據分享平台，必須提供服務質量保障。這就是Filecoin 要解決的問題，即IPFS 的經濟激勵層。

Filecoin 協議構建了兩個市場：數據存儲市場和數據提取市場。有存儲需求的用戶到數據存儲市場申明自己的需求：我要存XX 大小的數據，要求XX個副本，存儲XX 天。市場中的存儲服務商（存儲礦工）對這項存儲需求報價，用戶接受報價就跟礦工簽訂合同，支付費用。當用戶需要使用數據時，就到數據提取市場提出需求；再由提取礦工給出報價，滿足數據訪問需求。

上述過程看上去不算複雜，實現起來卻有幾個困難：

這其中復雜的博弈都涉及到我們下一節要講的激勵模型設計。

二級標題

4.2 創新的激勵機制

去中心化存儲這件事在技術上基本可行的基礎上，去中心化存儲激勵機制的設計就成為了項目成功與否的關鍵，信任共識設計才是去中心化存儲的核心，而共識背後的經濟模型才是項目的靈魂和精髓。

因為存儲這件事需要有存儲的硬件服務器參與，所以去中心化存儲項目的礦工有很強的產業屬性，和比特幣的礦工不太一樣，不僅僅具有金融屬性，不單單是挖一個幣而已，他們有很多數據存儲的需求方，而如何通過激勵通證盤活整個生態就更加考驗初始項目團隊的經濟模型設計能力。

例如，Crust項目在經濟模型中將礦工可以存儲的上限容量和礦工持有的CRU（或者擔保商提供的CRU）相綁定，礦工質押的CRU將決定礦工的挖礦收益上限；在原有的PoS模型中進化出了GPoS（Guaranteed Proof of Stake）共識。

二級標題

4.3 明確的場景切入和用戶定位

存儲賽道是一個很廣的市場，在這個存儲市場內也會有不同的存儲需求，例如，對數據永久保存需求比較高的；對數據可信度（不可篡改）要求比較高的；對數據高頻交互要求比較高的；對邊緣化數據要求比較高的。

很顯然未來分佈式存儲技術發展也會以細分賽道聚焦的項目為主，聚焦共識，“一招鮮，吃遍天”的打法不切實際，可以從用戶實際場景的需求出發，定位項目的產品應用，通過不斷的強化技術和場景落地，實現技術與商業價值之間的連接轉化。

這種挖礦機制和共識設計十分巧妙，也達到了鏈上數據的“永久保存”，實現了細分領域的存儲應用。

一級標題

去中心化存儲在激勵政策制訂，合法合規方面，存儲成本，數據檢索和存儲穩定性等方面面臨著巨大的挑戰和瓶頸。

二級標題

兩方面的原因會導致生態參與玩家，包括存儲提供者和存儲使用者的流失。

二級標題

而一個自治的去中心體系的設計應該是輕巧的，但又由於去中心化存儲項目的特殊性，由於存儲數據需要節點的自製，去中心化存儲的經濟模型設計常常又是複雜的，導致去中心化存儲項目在多方協作上又凸顯了一定的脆弱性。

二級標題

去中心化存儲的終極目標一定是吸引盡可能多的用戶貢獻出自己設備的閒置存儲空間，讓整個世界的閒置空間聯通起來，達到邊緣計算，邊緣存儲的目的。但實際情況確是分佈式存儲的參與門檻過高，甚至需要購買專門的機器來提供存儲空間，這樣的現狀與分佈式存儲的初衷有很大的背離。

二級標題

但是存數據是一個積累量，也就是說先存數據的人一定有先發優勢，這個優勢不僅僅是初期激勵獎勵多的問題，更是隨著事件自己的先發優勢會不斷擴大，而這個優勢會不斷擠壓後面想要加進來的礦工，這一點十分不利於整個生態的發展。

一級標題

6 總結

1. https://filecoin.io/zh-cn/2020-engineering-filecoins-economy-zh-cn.pdf

2. Labs, P. A Guide to Filecoin Storage Mining. Filecoin Available at:

https://filecoin.io/blog/filecoin-guide-to-storage-mining/.

3. https://pcpartpicker.com/user/tperson/saved/H2BskL

4. Venturo, B. The economics of Ethereum's Casper. Medium (2018). Available at:

https://medium.com/@brianventuro/the-economics-of-ethereums-casper-6c145f7247a2.

5. https://www.reddit.com/r/CryptoCurrency/comments/982x9l/top100cryptocurrenciesrankedbyannualized/

6. http://app.czce.com.cn/cms/cmsface/option/Calculator/utCal.jsp

7. Project, T. A. Decentralised storage: Incentives vs Contracts. Medium (2019). Available at:

https://blog.goodaudience.com/decentralised-storage-incentives-vs-contracts-b74ee0b7eff1.

8. https://viewblock.io/arweave/stats

9. Bram Cohen. Incentives build robustness in bittorrent. In Workshop on Economics of Peer-to-Peer systems, volume 6, pages 68{72, 2003. [19] Matt Corallo. Compact block relay. bip 152, 2017.

10. Project, T. A. Arweave News: July. Medium (2020). Available at:

https://medium.com/@arweave/arweave-news-july-7905d5e0c84f.

11. ĐApps: What Web 3.0 Looks Like Available at:

http://gavwood.com/dappsweb3.html.

12. Swarm Available at:

https://swarm.ethereum.org/.

13. G. Wood, Ethereum: A secure decentralised generalised transaction ledger, In: Ethereum Project Yellow Paper 151 (2014).

14. Solana - Arweave Bridge: ArweaveTeam Funded Issue Detail. Gitcoin Available at:

https://gitcoin.co/issue/ArweaveTeam/Bounties/30/100023463.

15. SKALE Network - Arweave Bridge: ArweaveTeam Funded Issue Detail. Gitcoin Available at:

https://gitcoin.co/issue/ArweaveTeam/Bounties/27/4468.

Filecoin