Marvell推出AI「記憶體解耦」架構,將解決Agentic AI推理頻寬瓶頸
Odaily星球日報訊 Marvell Technology 宣布推出面向AI基礎設施的新一代記憶體解決方案組合,覆蓋伺服器級AI儲存、機架級CXL記憶體擴展與池化,以及多機櫃光互聯共享記憶體,旨在解決Agentic AI推理過程中日益增長的記憶體容量和頻寬瓶頸。
Marvell 表示,隨著AI模型規模擴大、上下文視窗延長以及KV Cache需求增長,傳統計算與記憶體緊耦合架構正限制AI推理效率。透過記憶體解耦(memory disaggregation),可以讓記憶體資源更加獨立於計算資源擴展,提高GPU利用率並降低資料移動延遲。此次發布的產品包括:
Bravera SC6 PCIe 6.0 SSD 控制器:面向AI推理儲存場景,可幫助雲端服務商將更多KV Cache遷移至高效能SSD,提升基礎設施效率。該產品採用相容多供應商NAND的架構,預計將於2026年第四季開始送樣。
Marvell Structera X 記憶體擴展方案:基於CXL技術,支援機架級記憶體擴展和資源池化,幫助資料中心更靈活地共享和調配記憶體資源,降低AI基礎設施成本。
Marvell Photonic Fabric 光互聯記憶體方案:透過光互聯技術建構跨多機櫃共享記憶體架構,可支援最高32TB溫熱KV Cache卸載,並幫助AI推理叢集提升吞吐能力。
Marvell 表示,Photonic Fabric 方案可在現有資料中心空間和功耗限制下,實現最高2至3倍的Token吞吐提升,支援更大規模模型和更長上下文AI應用。
Marvell 高階主管 Will Chu 表示,AI基礎設施正在從單一伺服器架構轉向計算、記憶體和連接協同運作的系統,未來記憶體需要更加獨立地擴展,以提升資源利用率和Token效率。
隨著AI Agent和大模型推理需求持續增長,記憶體容量、頻寬和資料傳輸效率正成為繼算力之後AI基礎設施競爭的新焦點。
