MarkTechPost· Asif Razzaq·原文发布· 5 小时前AI 评分48
Stanford 与 UC Berkeley 研究者推出 TokenGate：Token 门控注意力让长上下文 Prefill 最快提速 11.3 倍
Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x Faster
AI 导读
Stanford 与 UC Berkeley 研究者发布 TokenGate，通过可学习的 token 剪枝模块让现有 LLM 的长上下文 prefill 提速 1.4x 至 11.3x，峰值内存降低 1.5x 至 3.4x，且无精度损失。
本站提供 AI 导读，完整报道请前往来源网站阅读。
阅读原文 MarkTechPost · marktechpost.com