NVIDIA đề xuất giải pháp thiết kế phối hợp toàn diện bộ nhớ AI, thông lượng suy luận tăng tối đa 30 lần

Odaily báo cáo, NVIDIA đã công bố rằng khi quy mô mô hình AI mở rộng, cửa sổ ngữ cảnh kéo dài và các ứng dụng tác nhân thông minh trở nên phổ biến, áp lực bộ nhớ GPU tiếp tục gia tăng, nguồn cung HBM ngày càng thắt chặt và giá cả tăng cao. NVIDIA đề xuất nâng cao hiệu quả sử dụng bộ nhớ thông qua thiết kế phối hợp giữa GPU, CPU, mạng, lưu trữ và phần mềm, thay vì chỉ đơn thuần tăng dung lượng bộ nhớ GPU.

Cụ thể, NVIDIA nén trọng số mô hình và KV Cache thông qua định dạng độ chính xác thấp NVFP4, chuyển ngữ cảnh tạm thời không hoạt động sang lớp lưu trữ có chi phí thấp hơn, và tận dụng triển khai phân tán đa GPU để giải phóng không gian HBM.

NVIDIA tiết lộ rằng trong bài kiểm tra SemiAnalysis AgentX, GB300 NVL72 đạt thông lượng suy luận trên mỗi đơn vị chi phí cao nhất gấp 10 lần nền tảng H200 trong các khối lượng công việc cụ thể; Vera Rubin NVL72 so với GB300 NVL72, thông lượng suy luận trên mỗi đơn vị chi phí tăng tối đa 30 lần, trong khi dung lượng HBM trên mỗi GPU chỉ tăng khoảng 3%.