用 Attention Sinks 实现高效流式语言模型

2024 年一篇论文提出用 attention sinks 解释 LLM 长序列性能骤降：KV cache 一旦驱逐序列开头几个 token，GPT-2 small 在 wikitext-2 上的困惑度就从 10.7 飙到 3768。