vLLM 讲解 Elastic EP 近零停机扩缩容实现

vLLM 团队发布技术讲解，称通过异步准备与 NIXL EP，Elastic Expert Parallelism 可实现近零停机的专家并行扩缩容。 据讲解，后台准备、CUDA graph 复用以及加入 worker 上的独立 graph 捕获均已在最新版 vLLM 和 NIXL 中可用；其中 Configuration C 仅由 NIXL EP 支持。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。