vLLM 为无置信头草稿模型支持自适应验证

vLLM 为所有基于草稿模型的投机解码器类型支持置信度评分，使没有置信头的草稿模型也能启用自适应验证（AV）。该功能随 PR #52228 落地，通过 enable_adaptive_verification 开启。 方案用在线拟合的逻辑回归，从草稿模型 logits 的 log-odds 特征预测目标模型的接受概率，K 个 token 的草稿器仅需 K+1 个参数，参数随线上流量持续拟合。当草稿模型没有置信头且其所有后端都支持变长注意力时，会自动选用该在线估计器；目标模型的注意力后端须支持变长验证。 vLLM 称，MTP 和 EAGLE 从 AV 中获得的收益少于 DFlash 和 DSpark。

AI 根据报道生成 · 18 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。