vLLM Blog· Giancarlo Delfin (Inferact)·原文发布· 2 天前AI 评分30
无需置信头的自适应验证
Adaptive Verification Without a Confidence Head
AI 导读
vLLM 为所有基于草稿模型的投机解码器类型支持置信度评分,无需置信头即可启用自适应验证(AV)。该方案用在线拟合的逻辑回归,从草稿模型 logits 的 log-odds 特征预测目标模型的接受概率,K 个 token 的草稿器仅需 K+1 个参数,参数随线上流量持续拟合。
本站提供 AI 导读,完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai