热点事件历史事件

vLLM 推出双向 KV 传输降低多轮 TTFT

1 篇报道1 个报道来源4 天前更新

先了解这件事

AI 综述

vLLM 发布技术博客，介绍双向 KV 缓存传输功能：decode 节点把已计算的 KV 缓存回传给 prefill 节点，使多轮对话中已计算的上下文可跨轮复用，避免重复计算。 vLLM 称，在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上，最长提示下 TTFT 降低约 1.6 倍（Qwen3-32B）和 3.3 倍（zai-org/GLM-5-FP8）。该功能需 vLLM v0.21.0 或更高版本配合 NixlConnector，并在 prefill 和 decode 服务端启用 bidirectional_kv_xfer，同时使用具备 KV 缓存感知的路由。双向模式下 KV 缓存保留时长由 decoder_kv_blocks_ttl 控制，默认 480 秒；是否重算由 kv_recompute_threshold 控制，默认 64 token。vLLM 表示该功能也可在其他受支持的配置上运行，但性能会因硬件、模型、负载和网络配置而异。

AI 根据报道生成 · 2 天前更新

最新进展10月12日 08:00

vLLM 双向 KV 传输改善多轮智能体负载的 TTFT

报道时间线

沿着报道，了解事件的不同侧面。

10月12日

08:00
vLLM Blog精选
vLLM 双向 KV 传输改善多轮智能体负载的 TTFT
vLLM 引入双向 KV 传输，让 decode 节点把已计算的 KV 缓存回传给 prefill 节点，避免多轮对话中重复计算上下文。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上，最长提示下 TTFT 降低约 1.6 倍（Qwen3-32B）和 3.3 倍（zai-org/GLM-5-FP8）。