Google Cloud 发布首个稳定版分布式推理栈 llm-d 1.0

Google Cloud 在 PyTorch Conference North America 上发布开源分布式推理栈 llm-d 1.0，这是该 Kubernetes 原生项目的首个稳定版本，可将 vLLM 或 SGLang 模型服务器整合为统一资源池，并提供缓存感知路由。 llm-d 1.0 面向自托管的 agent 与强化学习工作负载，这类场景下轮询式负载均衡效果不佳。它运行在 Kubernetes 上，支持 NVIDIA、AMD 或 Intel GPU 以及 Google TPU。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。