MarkTechPost· Asif Razzaq·原文发布· 5 小时前AI 评分58
Google Cloud 发布 llm-d 1.0：面向 TPU 与 GPU 集群的缓存感知路由分布式推理栈
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
AI 导读
Google Cloud 在 PyTorch Conference North America 上发布开源分布式推理栈 llm-d 1.0，这是该 Kubernetes 原生项目的首个稳定版本，可将 vLLM 或 SGLang 模型服务器整合为统一资源池。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 MarkTechPost · marktechpost.com