跳到正文
Hacker News· peter_d_sherman·· 2 小时前AI 评分60

循环 Transformer 技术详解:重复层如何换取推理深度

What Are Looped Transformers? A Technical Deep Dive

AI 导读

文章系统拆解循环 Transformer(recurrent depth):用少量共享层重复 r 次,把有效深度从权重文件中移到调用参数上,Huginn 以 (2,4,2) 的 8 层结构在 r=32 时展开为 132 层。

来源:Hacker News · saulius.io