vLLM Blog· Inferact and Recursive·原文发布· 19 小时前AI 评分59
vLLM Day-0 支持 Recursive 的 Flint 模型
Day-0 Support for Flint on vLLM
AI 导读
vLLM 从 Day-0 起支持 Recursive 的 Flint 模型，NVFP4 和 BF16 两种 checkpoint 均可在单张 GPU 上运行，在 GB200 上 100K 上下文下单请求解码约 500 tokens/s。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai