vLLM Blog· vLLM Team·原文发布· 25 天前AI 评分36
Qwen3.8-2.4T 的 PD 分离式服务
PD Serving of Qwen3.8-2.4T
AI 导读
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 做 PD 分离式服务,8K/1K 负载下高吞吐场景达每 GPU 5000 总 token 吞吐,低延迟场景达每用户 180 生成 token。
本站提供 AI 导读,完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai