跳到正文
IT之家 · 人工智能·原文发布· 3 小时前AI 评分37

英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍

AI 导读

调研机构 SemiAnalysis 称,英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上达到 423 tok/s/user 的推理速度,性能提升 1.68 倍。

本站提供 AI 导读,完整报道请前往来源网站阅读。

阅读原文 IT之家 · 人工智能 · ithome.com