vLLM Blog· vLLM Team, Red Hat PyTorch Team, and Meta PyTorch Team·原文发布· 2 天前AI 评分49
vLLM 迁移至 LibTorch Stable ABI
Migrating vLLM to the LibTorch Stable ABI
AI 导读
vLLM 已将其 C++ 后端迁移到 LibTorch Stable ABI，并从 v0.33.0 起发布 LibTorch ABI Stable CUDA wheels，使升级 PyTorch 无需重新构建 vLLM。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai