英伟达破局 AI 内存瓶颈：HBM 仅增约 3%，每美元智能体吞吐量最高提升 30 倍

英伟达 11 月 5 日发布技术解读，提出以 GPU、CPU、网络、存储和软件全栈协同设计破解 AI 内存瓶颈，具体手段包括 NVFP4 压缩权重与 KV 缓存、NVL72 系统将权重分散至最多 72 颗 GPU、Vera CPU 的 LPDDR 内存缓冲上下文、Dynamo 将不活跃上下文迁移至 CMX 存储。