Hacker News· jonbaer·· 2 小时前AI 评分58
循环反馈 Transformer(RLT)提出按序列长度增长的计算路径
Recurrent Looped Transformer
AI 导读
论文提出 Recurrent Looped Transformer(RLT),把层拆分为并行因果编码器和循环解码器,每个 token 将编码器输出与上一 token 的最终解码器状态合并,使计算路径随序列长度增长而单 token 成本固定。
来源:Hacker News · yifanzhang-pro.github.io