英伟达、AIメモリのフルスタック協調設計案を提唱、推論スループットが最大30倍向上

Odaily報道：英伟达は、AIモデルの規模拡大、コンテキストウィンドウの長期化、エージェントアプリケーションの普及に伴い、GPUメモリの負荷が持続的に上昇し、HBMの供給が逼迫し、価格が上昇していると発表した。英伟达は、GPUメモリ容量を単純に増やすのではなく、GPU、CPU、ネットワーク、ストレージ、ソフトウェアの協調設計を通じてメモリ使用効率を高めることを提唱している。

具体的には、英伟达はNVFP4低精度フォーマットでモデルの重みとKV Cacheを圧縮し、一時的に非アクティブなコンテキストをより低コストのストレージ層に移行し、マルチGPU分散デプロイを活用してHBMスペースを解放する。

英伟达の開示によると、SemiAnalysis AgentXのテストにおいて、GB300 NVL72は特定のワークロード下で単位コスト当たりの推論スループットがH200プラットフォームの最大10倍に達した。Vera Rubin NVL72はGB300 NVL72と比較して、単位コスト当たりの推論スループットが最大30倍向上し、一方で単一GPUのHBM容量は約3%しか増加していない。