全栈协同设计如何破解 AI 内存墙：NVIDIA 提升每字节效率

NVIDIA 通过全栈协同设计解决 AI 内存压力，在 Blackwell Ultra 到 Vera Rubin 平台 HBM 容量仅增约 3% 的情况下，SemiAnalysis AgentX 上代理吞吐量每美元提升最高达 30 倍。该技术利用 NVFP4 格式压缩模型权重与 KV Cache，并将非活跃上下文卸载至 CMX 存储层，从而优化内存层级利用率。