vLLM Blog· AMD and Embedded LLM·原文发布· 4 小时前精选AI 评分62
在 AMD Instinct MI355X 上扩展 Kimi K3：在 AgentX 上实现与 NVIDIA HGX B300 相当的每 GPU 吞吐
Scaling Kimi K3 on AMD Instinct MI355X: Matching NVIDIA HGX B300 Throughput per GPU on AgentX
AI 导读
AMD 与 Embedded LLM 公布 Kimi K3 在八卡 AMD Instinct MI355X 上用 vLLM 服务的优化细节，在 AgentX 基准 50 tokens/s/user P90 交互性下每 GPU 总吞吐约 7。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 vLLM Blog · vllm.ai
推荐理由
AMD 与 vLLM 社区公开了 Kimi K3 在 MI355X 上的六项推理优化细节，可迁移到自建推理栈的瓶颈排查。