vLLM Blog· Sunita Nadampalli (AWS), Nicolò Lucchesi (Mistral)·原文发布· 2 天前精选AI 评分62
vLLM 推出基于 Push 的 KV 传输，改善分离式推理的 TTFT 与 TPOT
Push-Based KV Transfer to Improve TTFT and TPOT for Disaggregated Inference in vLLM
AI 导读
vLLM 新增 push 模式的 NIXL KV 连接器，把传输协调与建立连接从解码实例的关键路径移到预填充侧的后台线程，从而降低 TTFT 与 TPOT。在 1P1D 部署、Amazon EC2 P5en 实例加 EFA 的 Qwen3-32B 基准中，push 模式相比默认 pull 模式 TTFT 最高改善 3 倍、TPOT 最高改善 30%，结果随负载与配置变化。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai
推荐理由
vLLM 新增 push 模式 KV 连接器，给出架构、线程模型与复现脚本，可据此评估分离式推理的延迟收益。