Hacker News· matt_d·· 3 小时前AI 评分40
AbridgeKV：用可学习 pause token 的 KV Cache 压缩长推理
AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens
AI 导读
AbridgeKV 让模型每生成 512 个 token 后用 K 个可学习 pause token 编码该块，随后释放该块的 KV 条目，后续 token 改为关注 pause token 的条目。
来源：Hacker News · github.com