研究：检索上下文退化主因是注意力竞争而非长度

一项在五个开源模型（0.5B 至 3B 参数、四个模型家族）上开展的研究提出，检索失败的主因是注意力竞争，而非上下文长度。作者 Yinuo Liu 等称，中性填充内容几乎不损害准确率：Qwen2.5-1.5B 在 32K tokens 下准确率仍保持 0.97 至 1.00；但同样位置的证据格式陈述会把准确率压到 0.16 至 0.33。 该结论目前来自上述模型规模的实验，尚未说明是否适用于更大模型或其他任务。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。