十年の賭けに賭けたCerebras：「ウェハースケールAIチップ」はいかにしてナスダックに上場したか

原文タイトル：Reflections on a decade with Cerebras

原文著者：Steve Vassallo

原文翻訳：Peggy、BlockBeats

編集者注：5月14日、Cerebrasはナスダックに正式上場（ティッカー：CBRS）し、初日終値は公募価格比約68％上昇、2026年以降最も注目されるAIハードウェアIPOの一つとなった。

本稿はCerebrasの初期投資家であるSteve Vassalloによる寄稿で、彼とAndrew FeldmanがSeaMicroからCerebrasに至るまでの19年にわたる協力関係を振り返っている。表面的にはタームシートからIPOまでのベンチャー投資の物語だが、実際には、コンセンサスが得られなかった時期に、いかにしてある最先端ハードウェア企業がAIコンピューティングアーキテクチャの根本的な再構築に賭けたかを記録している。ウエハースケールチップ、メモリ帯域幅のボトルネック、電源供給、放熱、電気的連続性など、一連のエンジニアリング上の課題に対して、Cerebrasが直面したのは単一の技術的挑戦ではなく、現代のコンピューティングシステム全体の再発明であった。

最も注目すべき点は、Cerebrasが最終的に従来のチップより58倍大きいウエハースケールチップを開発したことではなく、同社が当初から業界の慣性とは逆の方向性を選択したことにある。GPUがAIトレーニングのデフォルトの答えとなった時、同社は「AIのために作られたコンピュータとは何か」を再定義しようとした。その背後には、技術的な判断力だけでなく、資本の忍耐力、そして投資家と創業チーム間の長期的で非取引的な信頼関係が必要であった。

今日のAIハードウェア競争において、Cerebrasの意義は、市場に対して「計算革命とは単により多くのGPUを積むことではなく、コンピューティングアーキテクチャそのものを再構想することからも生まれ得る」という点を喚起することにある。

以下は原文である：

2016年4月1日（金曜日）、私はAndrew Feldmanにメールを送り、彼の家の裏庭のフェンスを越えて、Cerebrasへの投資タームシートを直接手渡しすると伝えた。

その日はエイプリルフールだったが、私は冗談を言っていたわけではない。

厳密に言えば、これはベンチャーキャピタルファームの標準的な手順ではない。しかし、当時私はAndrewと知り合って9年が経ち、次の会社についてもほぼ2年間話し合ってきた。土曜の午後に何度も修正している条項の文章ごときに、この取引を逃すわけにはいかなかった。

初めてAndrewに会ったのは2007年10月。彼とGary LauterbachがSeaMicroを設立したばかりの頃だった。そのラウンドには投資しなかったが、彼らとは非常に意気投合し、特に彼らが第一原理から物事を考える姿勢に感銘を受けた。それ以来、私は彼らを注目し続けてきた。

真に価値ある関係には、時間の熟成が必要だ。真に価値ある会社もまた同じである。今日、外側から見れば、Cerebrasは設立10年、まもなく上場する企業だ。しかし私の目には、これは19年にわたる関係が、ようやく鐘を鳴らす瞬間を迎えたものに映る。

2019年8月、スタンフォード大学のキャンパスで開催されたHot Chipsカンファレンスにて、Andrewと私。この時、Cerebrasは第1世代のWafer-Scale Engineを発表した。

深い関係と、不合理な野心

2012年にAMDがSeaMicroを買収した時、私は直感した。Andrewは大企業に長く留まるタイプではない、と。彼には強烈な負けん気と、反逆精神が宿っていた。2014年初頭には、彼はすでに退社の機会を模索し始めており、私たちも頻繁に会って次の一手について議論するようになった。

当時、以下の2つのことは、まだコンセンサスには程遠かった。第一に、AIが本当に有用になること。第二に、GPUがAIに最適なコンピューティングアーキテクチャではないということである。

最初の問題については、私の知る多くの賢い人々の意見も一致していなかった。2012年にAlexNetが登場して以降、研究コミュニティの一部では畳み込みニューラルネットワークを使って驚くべき成果が上げられ始めていた。しかし、より広範なソフトウェア業界では、AIは依然としてマーケティング用語と研究プロジェクトの中間に位置していた。

2つ目の問題、すなわちハードウェアの問題は、ほとんど真剣に提起されていなかった。GPUはニューラルネットワークトレーニングのデフォルトの選択肢となっていたが、それは主に研究者が偶然、CPUよりも「それほど悪くなかった」からに過ぎない。AIワークロードのために特別に新しいコンピューティングシステムを構築することは、当時世界中の研究者が使用していた主流アーキテクチャに挑戦することを意味した。

しかし、Andrew、Gary、そして彼らの共同創業者であるSean、Michael、JPは、異なる方向性を見ていた。彼らはそれぞれ、チップとシステムの分野で数十年の経験を積んでいた。Garyの背景は、1980年代のデータフローとアウトオブオーダー実行における先駆的な研究に遡る。Seanは先進的なサーバーアーキテクチャ、Michaelはソフトウェアとコンパイラ、JPはハードウェアエンジニアリングを専門としていた。彼らは極めて稀な人材だった。個々に見ても優秀だが、組み合わさることでその能力は相乗効果を発揮した。彼らは全く新しいコンピュータを想像することができた。

彼らは、もしAIが真の可能性を解放すれば、結果として生まれる市場規模は、既存のあらゆるコンピューティング形態の合計をはるかに超えると信じていた。

また彼らは、GPUの本質を理解していた。それは元々グラフィックス処理用に設計されたチップであり、新たな戦場で臨時にAIトレーニングツールに抜擢されたに過ぎない。並列処理において確かにCPUより優れているが、ゼロからAIワークロード用に設計するなら、誰もGPUのようなアーキテクチャを設計しないだろう。ニューラルネットワークの能力を真に制限しているのは、生の計算能力ではなく、メモリ帯域幅なのである。つまり、彼らが作るべきチップは、孤立したコア内の行列乗算ではなく、データが計算構造全体をいかに効率的に流れるかに最適化されるべきであった。

社内では、Cerebrasへの投資は決してコンセンサスを得た決定ではなかった。私の数人のパートナーは、前回の半導体投資でほとんど損失しか出なかったことを目の当たりにしており、非常に率直に懸念を表明した。しかし最終的に、私たちはチームとして合意に達した。2016年4月のその週末、私たちはAndrewに明確に伝えた。私たちは彼に最初のタームシートを提示する投資家になりたい、と。

数週間後、Andrew、Gary、Sean、Michael、JPは、250 Middlefieldの2階にある我々のEIRオフィススペースに移ってきた。当時オフィスマネージャーが描いた間取り図を今も持っている。その図では、CerebrasはFoundationの創業者の隣に位置し、後にMoveworksを創業するBhavin Shahからも数ドア先にあった。スタートアップが成長するのに適したフロアだった。

Cerebrasの最初の本社は、250 Middlefieldにあった私たちの旧オフィスの2階にあった。

曲げてよいルールと、破らねばならないルールを知る

Cerebras以前、コンピューティング史上最大のチップは約840平方ミリメートルで、切手ほどの大きさのシリコンダイだった。Cerebrasが作ったチップの面積は46,000平方ミリメートルで、その58倍である。

ウエハースケールチップを選択することは、それに伴う全ての下流設計上の難題を受け入れることを意味した。約80年のコンピューティング史において、これを実際に成し遂げた者は誰もいなかった。つまり、これらの問題を体系的に解決した者もいなかったということだ。どのようにしてこれほど巨大なチップに電力を供給するのか？ どのように冷却するのか？ 数万もの接続ポイント間で電気的連続性をどのように維持するのか？

ウエハースケールコンピューティングを実現するために、Cerebrasは現代のコンピューティングのほぼ全ての要素を同時に再発明する必要があった。半導体、システム、データ構造、ソフトウェア、アルゴリズム。それぞれの方向性だけで、一つのスタートアップが成立するほどである。Andrewと彼のチームは、最も厄介な技術的課題から取り組み始めることを選んだ。彼らの強烈で、ほとんど疲れを知らない努力の下で、これらの課題は一つずつ前進していった。

6～8週間ごとに、私たちは取締役会を開いた。彼らは前回の会議以降の試みについて説明してくれた。新しいシステム設計のバリエーション、新しい電源供給方式、あるいは熱管理の調整などだ。体系的難問に様々な角度から繰り返し挑んだことで、彼らは苦労して得た明確な説明能力を身につけていた。彼らは、どこに問題があると考えているか、次に何を試みる予定かを説明した。

私たちは質問を投げかけ、チームと共に深く掘り下げ、必要な人材、リソース、関係を動員して、彼らが新たな突破口を見つけるのを支援した。6～8週間後、再び会合を持った時には、また別の技術的問題について同じ話が繰り返された。新たに探索すべきフロンティアである。それぞれの解決策が、次に解決すべき問題を露呈させたのだ。

彼らの最初の試作ウエハーは、初めて通電した際に煙を吹いた。チームはこれを「熱事象」と呼んだ。取締役や大家を怖がらせたくない時に使う、いわば火災の婉曲表現である。

私は好奇心と、数字が信じられないほど高く見えたため、常に1平方ミリメートルあたりの消費電力を計算していた。そこで、私たちはExponentのエンジニアを招いた。同社は故障解析機関であり、以前の社名はまさにFailure Analysis（故障解析）といった。彼らは、その消費電力の数値が確かに見た目ほど大胆であることを確認し、熱力学第二法則に挑戦しないための一連の選択肢を考える手助けをしてくれた。何しろ、それはAndrewが賢明にも争おうとしない法則だったからだ。

エンジニアの規律とは、壊してよいルール、曲げてよいルール、そして尊重しなければならないルールを知ることにある。Andrewと彼のチームは、この区別について実証済みの判断力を持っていた。いつ自分たちが慣習に挑戦しているのか（それは本来彼らがやりたかったことだ）、そしていつ物理法則に挑戦しているのか（それは彼らがすべきことではなかった）を彼らは知っていた。

最先端技術を構築する時、失敗は避けられない。失敗を乗り越える唯一の方法は、規律、粘り強さ、そして何よりも信頼である。ミッションへの信頼、互いへの信頼、そして最初の試作品が自壊した後も、翌朝には再び実験室に戻り、次の反復を始めるという事実への信頼である。

このような仕事に取引的なバージョンは存在しない。あるのは長期バージョンだけだ。不完全な解決策や忍耐強い説明の中に、常に居続けること。そうすれば、それがついに成功した時、あなたはそれを目の当たりにすることができるのだ。

その瞬間は2019年8月に訪れた。Andrew、Sean、そして彼らのチームは実験室に立ち、彼ら自身が設計した全く新しいコンピュータが初めて動作するのを見守った。部外者にとっては、一見何も面白いことはしていないように見えた。Andrewの表現によれば、それはペンキが乾くのを見るのと同じくらい退屈な光景だったという。しかし、今回が違っていたのは、これまでこのような「ペンキ」の樽が実際に乾いたことがなかったという点だ。彼らは一緒に30分間そこに立ち、そしてまた仕事に戻った。

誰と築くかが極めて重要である

自分が何を解決できるか知っていることに基づいて問題を選ぶ人がいる。Andrewが問題を選ぶ基準は、どの問題を解決する価値があると信じるかである。漸進的な反復では彼を興奮させない。彼が求めるのは1000倍の飛躍である。初日から、彼はCerebrasを世代を画する、唯一無二の企業に育て上げたかったのだ。

この原動力の一部は、彼の性格に起因する。Andrewはそれをコンピュータアーキテクトの「病気」と表現する。何十年もの間、あるアイデアに取り憑かれている状態だ。しかし私の目には、それはより広義には創業者の「病気」のように映る。彼は問題を見ると、まず自問する。何か段階的な改善を起こせるものを作れるだろうか？ 次に、もし成功したら、誰か気にするだろうか？ 両方の質問に対する答えがイエスなら、彼はその後の10年をそれに捧げる。

この原動力のもう一つの部分は、彼の育った環境に由来する。Andrewは天才に囲まれて育った。それはほとんどの子供がテレビを見るのと同じくらい自然なことだった。彼の父親は先駆的な進化生物学の教授で、毎週日曜日に6人の仲間とダブルステニスを楽しんでいた。その6人の中には、後にノーベル賞を受賞した3人と、フィールズ賞を受賞した1人が含まれていた。

Andrewの話によれば、これらの巨人たちは、子供にも理解できる言葉で、自分たちの物理学、数学、分子生物学の研究について辛抱強く説明してくれたという。彼はそれによって、真の賢さがどのようなものかを深く印象づけられたと同時に、母親が言っていたように、賢いことが嫌な奴でいる理由にはならないことも理解した。

後に私は、これがAndrewの最も中心的な特性の一つであり、彼の反逆的な野心や、真に解決する価値のある問題に対する光を求める本能と同じくらい重要であることに気づいた。彼は、これまで出会った最も卓越した人々は、往々にして並外れて親切でもあると確信している。

この信念が、彼のチームがいかにして結集し、極めて困難なことを成し遂げるかを形作った。Cerebrasが最初に採用した30人は、全員が彼と以前に働いたことがあり、中には1996年から彼に従っている者もいた。現在、Cerebrasには約700人の従業員がいるが、そのうち約100人は彼に従って複数の会社を渡り歩いてきた。