英伟达发布技术解读：全栈协同设计缓解 AI 内存瓶颈

英伟达 11 月 5 日发布技术解读，提出以 GPU、CPU、网络、存储和软件全栈协同设计破解 AI 内存瓶颈，称在 HBM 容量仅增加约 3% 的情况下大幅提升智能体吞吐量。 具体手段包括：用 NVFP4 压缩权重与 KV 缓存；NVL72 系统将权重分散至最多 72 颗 GPU；Vera CPU 用 LPDDR 内存缓冲上下文；Dynamo 将不活跃上下文迁移至 CMX 存储。 据英伟达数据，在每用户每秒 125 token 条件下，Vera Rubin NVL72 相较 GB300 NVL72 每美元智能体吞吐量最高提升 30 倍；GB300 NVL72 较 H200 平台在每用户每秒 100 token 条件下每美元吞吐量最高提升 10 倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。