NVIDIA 软硬件协同设计的五种方式：最大化 AI 工厂中每一字节的价值

NVIDIA 阐述了在 AI 工厂中通过软硬件协同设计最大化 HBM 内存价值的五种方法。文章指出，HBM 是最快、最昂贵、竞争最激烈的内存层级，浪费在冗余权重副本、空闲会话 KV cache 或重算前缀上的每个字节都无法用于生成 token，关键问题已从 GPU 拥有多少内存转变为每个字节能交付多少有效工作。