vLLM Blog· Raphaël Rialland (Mistral), Simon Veitner (Red Hat), and Tomas Ruiz (Red Hat)·原文发布· 22 天前精选AI 评分62
vLLM 中的水印技术
Watermarking in vLLM
AI 导读
vLLM 现已支持基于 Gumbel-max 算法的无失真文本水印，并集成到 Model Runner v2 的采样管线中，同时支持投机解码。实现将伪随机数生成、Gumbel 变换与 argmax 归约融合进单个 GPU kernel，在 Qwen3.5-27B 上跨 batch size 1–256 的吞吐变化在 −1.1% 到 +2.0% 之间。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai
推荐理由
vLLM 把无失真文本水印接进采样管线，读者可了解其算法取舍与吞吐开销。