vLLM 推出 push 模式 NIXL KV 传输
热点事件观察中
vLLM 推出 push 模式 NIXL KV 传输
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
vLLM 新增 push 模式的 NIXL KV 连接器，把预填充后传输协调与建立连接从解码实例的关键路径移到预填充侧后台线程，以降低分离式推理的首 token 延迟（TTFT）与每 token 输出时间（TPOT）。 在 1P1D 部署、Amazon EC2 P5en 实例加 EFA 的 Qwen3-32B 基准中，push 模式相比默认 pull 模式 TTFT 最高改善 3 倍、TPOT 最高改善 30%，结果随负载与配置变化。使用 push 模式需在预填充和解码服务器上均配置 NixlPushConnector 替代 NixlConnector；vLLM 称，当可接受提前选定解码节点且优先降低 TTFT 时适合选用 push，而需要双向 KV 传输或在预填充后按负载选解码实例的工作负载仍更适合 pull。vLLM 还表示正探索把后台 NIXL 线程模型引入 pull 模式，并已提交 PR #45211。
AI 根据报道生成 · 21 小时前更新
最新进展10月14日 08:00
vLLM 推出基于 Push 的 KV 传输，改善分离式推理的 TTFT 与 TPOT报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- vLLM Blog精选vLLM 推出基于 Push 的 KV 传输，改善分离式推理的 TTFT 与 TPOT
vLLM 新增 push 模式的 NIXL KV 连接器，把传输协调与建立连接从解码实例的关键路径移到预填充侧的后台线程，从而降低 TTFT 与 TPOT。在 1P1D 部署、Amazon EC2 P5en 实例加 EFA 的 Qwen3-32B 基准中，push 模式相比默认 pull 模式 TTFT 最高改善 3 倍、TPOT 最高改善 30%，结果随负载与配置变化。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。