GVA：按需重建Key，KV缓存降约45%

Vishesh Tripathi 等作者提出 Grouped Value Attention（GVA）KV 缓存方法：只存储分组后的 value，用学习到的线性映射按需重建 content key，推理时该映射可吸收进 query，另设小型共享解耦 RoPE 通道缓存位置 key。作者称，在所研究的配置下，该表示相对匹配的 GQA 将持久缓存标量减少约 45–47%。 在 350M 参数规模、30B FineWeb-Edu token 训练下，16 维位置变体在五项任务上平均准确率为 44.18，GQA 为 44.36，MLA 为 43.88。作者表示已开发自定义解码 kernel，正在评估其端到端推理性能，并计划近期开源。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。