研究揭示分块KV缓存压缩的相位敏感性

Xingyu Zhu 等研究者发布预印本论文称，采用分块 KV-Cache 压缩的模型存在“相位敏感性”：同一信息在压缩窗口不同相位下的检索难度不同，大型开放权重模型的长上下文检索准确率跨相位差异最高达 40 个百分点。 研究者从头预训练多种 KV 压缩设计的 Transformer 复现该现象，因果干预分析显示不同注意力组件在不同源相位上贡献不对称。研究者据此提出，评估此类模型需跨压缩相位测量，高平均准确率可能掩盖系统性位置失效。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。