跳到正文
vLLM Blog· Inferact and Google Teams·原文发布· 20 小时前AI 评分58

vLLM 发布 TorchTPU 后端,支持在 Google Cloud TPU 上运行 vLLM

Introducing vLLM TorchTPU

AI 导读

Inferact 与 Google 团队发布 vLLM TorchTPU(vllm-torchtpu),一个在 Google Cloud TPU 上运行 vLLM 的新后端,复用 vLLM 现有模型代码,多数现有模型无需改动即可在 TPU 上服务。

本站提供 AI 导读,完整报道请前往来源网站阅读。

阅读原文 vLLM Blog · vllm.ai