vLLM Blog· Martin Hickey (IBM Research)·原文发布· 17 天前精选AI 评分65
拆解 vLLM：分离式推理实践指南
Taking vLLM Apart: A Practical Guide to Disaggregated Serving
AI 导读
vLLM 官方发布分离式推理实践指南，把 prefill、decode 和 CPU 侧渲染拆成独立服务，并给出 vLLM v0.31.0 及以上的部署命令。文章说明 P/D 分离主要提升 goodput 而非峰值吞吐，KV cache 传输速度是关键前提，并给出 L40S 双卡实测中 collocated 与 P/D 的 p99 ITL 对比。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai
推荐理由
vLLM 官方拆解分离式推理的适用场景与代价，并给出可复现的部署命令和实测数据。