技术长文拆解循环Transformer：重复层换推理深度

peter_d_sherman 发布技术长文，逐行拆解循环 Transformer（recurrent depth）的前向计算、训练中如何形成测试时可调的重复次数，以及循环在 FLOPs 和 KV 缓存上的成本，并梳理相关文献。 文章称，这类结构用少量共享层重复 r 次，把有效深度从权重文件移到调用参数上；以 Huginn 的 (2,4,2) 共 8 层结构为例，r=32 时展开为 132 层。这是文章对机制的解释，并非已验证的模型效果。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。