vLLM Blog· Inferact and Google Teams·原文发布· 20 小时前AI 评分58
vLLM 发布 TorchTPU 后端,支持在 Google Cloud TPU 上运行 vLLM
Introducing vLLM TorchTPU
AI 导读
Inferact 与 Google 团队发布 vLLM TorchTPU(vllm-torchtpu),一个在 Google Cloud TPU 上运行 vLLM 的新后端,复用 vLLM 现有模型代码,多数现有模型无需改动即可在 TPU 上服务。
本站提供 AI 导读,完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai