vLLM Blog· the Kinference Team·原文发布· 1 天前AI 评分58
Buoyant 发布开源推理控制面 Kinference，面向 vLLM 与 Kubernetes
Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes
AI 导读
Buoyant 团队发布开源项目 Kinference（Apache v2），定位为基于 vLLM 和 Kubernetes 构建推理平台的控制面，提供 token 限速、租户用量与成本追踪、智能负载均衡和推理策略等功能。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai