Hacker News· anandvc·· 3 小时前AI 评分58
TokenGate 用可学习 token 剪枝加速 LLM 长上下文 prefill，最高约 11 倍
TokenGate: Adapting LLMs for pre-fill with learned skimming for ~11x speedup
AI 导读
TokenGate 提出 Token-Gated Language Models，在早期层用门控模块给可剪枝文档的每个 token 打分并只保留 top-K，上层仅处理这些 token，长上下文 prefill 最高提速 11.3 倍、显存降低 3.4 倍且精度不降。
来源：Hacker News · github.com