Hacker News· FrontiersMind·· 4 小时前AI 评分30
Grouped Value Attention（GVA）：按需重建 Key 的高效 KV 缓存方案
Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction
AI 导读
论文提出 Grouped Value Attention（GVA），只存储分组后的 value，并用学习到的线性映射按需重建 content key，推理时该映射可吸收进 query，另设小型共享解耦 RoPE 通道缓存位置 key。
来源：Hacker News · arxiv.org