Stanford与UC Berkeley发布TokenGate，长上下文prefill最高提速11.3倍

Stanford 与 UC Berkeley 研究者发布 TokenGate，一个面向长上下文 prefill 的可学习 token 剪枝模块。据其报告，该模块可让现有 LLM 的长上下文 prefill 提速 1.4x 至 11.3x，峰值内存降低 1.5x 至 3.4x，且无精度损失。 TokenGate 只剪枝提示中的文档部分，问题部分不会被剪枝。代码和 checkpoints 已以 Apache-2.0 许可发布在 GitHub 上。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。