英伟达提出AI内存全栈协同设计方案，推理吞吐量提升最高30倍

Odaily星球日报讯 英伟达宣布，随着 AI 模型规模扩大、上下文窗口延长以及智能体应用普及，GPU 内存压力持续上升，HBM 供应趋紧、价格上涨。英伟达提出通过 GPU、CPU、网络、存储及软件协同设计，提高内存使用效率，而非单纯增加 GPU 内存容量。

具体来看，英伟达通过 NVFP4 低精度格式压缩模型权重和 KV Cache，将暂时不活跃的上下文转移至成本更低的存储层，并利用多 GPU 分布式部署释放 HBM 空间。

英伟达披露，在 SemiAnalysis AgentX 测试中，GB300 NVL72 在特定工作负载下的单位成本推理吞吐量最高达到 H200 平台的 10 倍；Vera Rubin NVL72 相较 GB300 NVL72，单位成本推理吞吐量最高提升 30 倍，而单 GPU HBM 容量仅增加约 3%。