英偉達提出AI記憶體全棧協同設計方案，推理吞吐量提升最高30倍

Odaily星球日報訊 英偉達宣布，隨著 AI 模型規模擴大、上下文窗口延長以及智能體應用普及，GPU 記憶體壓力持續上升，HBM 供應趨緊、價格上漲。英偉達提出透過 GPU、CPU、網路、儲存及軟體協同設計，提高記憶體使用效率，而非單純增加 GPU 記憶體容量。

具體來看，英偉達透過 NVFP4 低精度格式壓縮模型權重和 KV Cache，將暫時不活躍的上下文轉移至成本更低的儲存層，並利用多 GPU 分散式部署釋放 HBM 空間。

英偉達披露，在 SemiAnalysis AgentX 測試中，GB300 NVL72 在特定工作負載下的單位成本推理吞吐量最高達到 H200 平台的 10 倍；Vera Rubin NVL72 相較 GB300 NVL72，單位成本推理吞吐量最高提升 30 倍，而單 GPU HBM 容量僅增加約 3%。