TokenGate：可学习token剪枝加速LLM预填充

TokenGate 作者团队发布论文并开源代码，提出 Token-Gated Language Models：在早期层用门控模块给可剪枝文档的每个 token 打分，只保留 top-K，上层仅处理这些 token。团队称长上下文 prefill 最高提速 11.3 倍、显存降低 3.4 倍且精度不降。 使用上，团队称其训练与标准 PEFT 训练一样简单高效。不安装专用内核时可通过 FlexAttention 运行：推理会自动回退并给出警告，训练则需显式设置 attn_backend="flex"；Qwen3 默认使用安装步骤中的 key-bias 内核，缺少该内核会直接报错，Qwen3.5 混合模型默认走 flex，其他模型家族需自行显式设置。上述加速与精度结论均为作者团队的说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。