vLLM Blog· Sunita Nadampalli (AWS)·原文发布· 4 天前精选AI 评分62
vLLM 双向 KV 传输改善多轮智能体负载的 TTFT
Improve TTFT for Multi-Turn Agentic Workloads with Bi-Directional KV Transfer in vLLM
AI 导读
vLLM 引入双向 KV 传输，让 decode 节点把已计算的 KV 缓存回传给 prefill 节点，避免多轮对话中重复计算上下文。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上，最长提示下 TTFT 降低约 1.6 倍（Qwen3-32B）和 3.3 倍（zai-org/GLM-5-FP8）。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai
推荐理由
vLLM 新增双向 KV 传输，读者可了解多轮智能体场景下降低 TTFT 的机制与实测数据。