跳到正文
NVIDIA Technical Blog· Michelle Horton·原文发布· 3 天前AI 评分22

ReplaySSM:重新思考状态存储,加速混合模型解码

ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding

AI 导读

NVIDIA 提出 ReplaySSM,重新思考混合模型的状态存储方式以加速解码。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3、GLM-5.3-Flash 等混合模型将 SSM 层与少量注意力层交错,SSM 层分别采用 Mamba-2、Gated DeltaNet(GDN)或 Kimi Delta Attention(KDA)。

本站提供 AI 导读,完整报道请前往来源网站阅读。

阅读原文 NVIDIA Technical Blog · developer.nvidia.com