原文发布
vLLM 推出基于 Push 的 KV 传输,改善分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL KV 连接器,把传输协调与建立连接从解码实例的关键路径移到预填充侧的后台线程,从而降低 TTFT 与 TPOT。在 1P1D 部署、Amazon EC2 P5en 实例加 EFA 的 Qwen3-32B 基准中,push 模式相比默认 pull 模式 TTFT 最高改善 3 倍、TPOT 最高改善 30%,结果随负载与配置变化。
推荐理由:vLLM 新增 push 模式 KV 连接器,给出架构、线程模型与复现脚本,可据此评估分离式推理的延迟收益。