엔비디아, AI 메모리 풀스택 협업 설계 방안 제안… 추론 처리량 최대 30배 향상

Odaily 보도: 엔비디아가 AI 모델 규모 확대, 컨텍스트 윈도우延长 및 에이전트 애플리케이션 보급에 따라 GPU 메모리 압력이 지속적으로 상승하고 있으며, HBM 공급이 타이트해지고 가격이 상승하고 있다고 발표했다. 엔비디아는 단순히 GPU 메모리 용량을 늘리는 것이 아니라 GPU, CPU, 네트워크, 스토리지 및 소프트웨어의 협업 설계를 통해 메모리 사용 효율을 높이는 방안을 제안했다.

구체적으로, 엔비디아는 NVFP4 저정밀도 포맷으로 모델 가중치와 KV Cache를 압축하고, 일시적으로 비활성화된 컨텍스트를 비용이 더 낮은 스토리지 계층으로 전환하며, 다중 GPU 분산 배포를 활용해 HBM 공간을 확보한다.

엔비디아는 SemiAnalysis AgentX 테스트에서 GB300 NVL72가 특정 워크로드에서 단위 비용당 추론 처리량이 H200 플랫폼의 최대 10배에 달했으며, Vera Rubin NVL72는 GB300 NVL72 대비 단위 비용당 추론 처리량이 최대 30배 향상되었고 단일 GPU HBM 용량은 약 3%만 증가했다고 밝혔다.