跳到正文
Zyphra Research·原文发布· 19 小时前AI 评分49

Zyphra 推理 Wave 2:在 MI355X 上实现更快的 MoE 与长上下文服务

Zyphra Inference Wave 2: Faster MoE and Long-Context Serving on MI355X

AI 导读

Zyphra 发布推理优化 Wave 2,在 AMD MI355X 上提升 MoE 模型的解码与长上下文服务性能。其投机解码方案对 GLM-5.3 和 DeepSeek-V4 使用 MTP、对 Kimi-K3 使用 DSpark,GLM-5.3 在 1 并发请求下加速 2.7x、32 并发下 2.0x。

本站提供 AI 导读,完整报道请前往来源网站阅读。

阅读原文 Zyphra Research · zyphra.com