BeNice后训练实现循环模型KV共享
热点事件持续更新
BeNice后训练实现循环模型KV共享
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者提出后训练方法 BeNice!，让循环架构在所有循环间共享同一份 KV-cache，并称不损失质量。该方法配合随机深度预训练实现近无损 KV 共享：Core-Ext 差距在 0.06 分内，验证困惑度差距在 0.01 内。 该方法可与 MLA、KDA 序列混合器及最高 4-bit KV 量化组合。在内存受限场景下，其吞吐量提升最高 23.6%，p90 TTFT 降低 83.6%。作者称已发布全部代码与模型。
AI 根据报道生成 · 2 小时前更新
最新进展10月24日 22:36
BeNice：用 KV 共享弥合循环模型的推理内存差距报道时间线
沿着报道，了解事件的不同侧面。
10月24日
- Hacker NewsBeNice：用 KV 共享弥合循环模型的推理内存差距
研究者提出后训练方法 BeNice!，让循环架构在所有循环间共享同一 KV-cache 而不损失质量，配合随机深度预训练实现近无损 KV 共享，Core-Ext 差距在 0.06 分内、验证困惑度差距在 0.01 内。该方法可与 MLA、KDA 序列混合器及最高 4-bit KV 量化组合，在内存受限场景下吞吐量提升最高 23.6%，p90 TTFT 降低 83.6%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。