热点事件观察中

vLLM 开源训练-推理位级一致方法

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

vLLM 团队发布让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel 的方法，使 rollout 与训练对每个采样 token 产生位级相同的 logprob（diff = 0），并开源了配套 agent skill 与代码。团队称，这样他人可借助该 skill、现成代码和 agent 在自己的模型上实现训练-推理一致性，减少对资深工程师逐算子排查的依赖。在 DeepSeek-V4-Flash 上，该方法在达到高性能基线 rollout 吞吐 91.3% 时实现 0 diff，并已迁移到 NVFP4 的 Mamba 混合模型 Nemotron。团队称端到端收益来自更少的崩溃与重跑，只在长时间运行中体现，wall-clock 对比留待后续。 DeepSeek-V4.1 的训练-推理一致性已达到 0 diff，性能优化仍在进行；TP>1 与 decode context parallel 会把跨 GPU reduction 重新放回对比路径，目前尚不支持。

AI 根据报道生成 · 5 小时前更新

最新进展10月14日 08:00

更快完成 RL 训练：位级一致、高性能、智能体驱动

报道时间线

沿着报道，了解事件的不同侧面。

10月14日

08:00
vLLM Blog精选
更快完成 RL 训练：位级一致、高性能、智能体驱动
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel，使 rollout 与训练对每个采样 token 产生位级相同的 logprob（diff = 0）。

本事件热度走势

可比范围当前: 3
可比范围峰值: 410月15日 19:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。