vLLM Blog· Inferact and the vLLM Team·原文发布· 2 天前AI 评分55
vLLM 大规模服务 DeepSeek-V4.1-Flash：追平 DeepInfer 并扩展至 GB300 NVL72
Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72
AI 导读
vLLM 团队用 P/D 分离和 Wide-EP 在一台 NVIDIA GB300 NVL72 上服务 DeepSeek-V4.1-Flash，在 SemiAnalysis AgentX 上达到每 GPU 954K tokens/s、P90 每用户 196 tokens/s，是此前单节点结果的 7.9 倍，成本 $38.96 每 GPU 小时。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai