Hacker News· liusci·· 2 小时前AI 评分40
长度不是问题,竞争才是:注意力机制可预测检索中的上下文腐化
Length Is Cheap, Competition Is Not: Attention Predicts Context Rot in Retrieval
AI 导读
研究在五个开源模型(0.5B 至 3B 参数、四个模型家族)上发现,检索失败的主因不是长度而是竞争:中性填充内容几乎无损,Qwen2.5-1.5B 在 32K tokens 下准确率仍保持 0.97 至 1.00,而同样位置的证据格式陈述会把准确率压到 0.16 至 0.33。
来源:Hacker News · arxiv.org