BeNice：用 KV 共享弥合循环模型的推理内存差距

研究者提出后训练方法 BeNice!，让循环架构在所有循环间共享同一 KV-cache 而不损失质量，配合随机深度预训练实现近无损 KV 共享，Core-Ext 差距在 0.06 分内、验证困惑度差距在 0.01 内。该方法可与 MLA、KDA 序列混合器及最高 4-bit KV 量化组合，在内存受限场景下吞吐量提升最高 23.6%，p90 TTFT 降低 83.6%。