Hacker News· m1coti·· 2 小时前AI 评分32
循环 Transformer 会写出自己并不使用的推理吗?Huginn 实验探究
Do looped transformers write reasoning they don't use?
AI 导读
一项针对循环 Transformer 的实验发现,Huginn-0125 会实际使用自己写出的推理链:在 100 道合成算术题上,向推理链注入错误数字后,模型几乎全部跟随错误值给出错误答案,忽略错误的比例为 0。实验对比了 Huginn-0125 在 8/16/32/64 次循环下的表现与同规模常规模型 Qwen2.5-3B-Instruct,后者忽略错误的比例同样为 0。
来源:Hacker News · igort99.github.io