777参数Transformer学会10位加法

Menon Lab 介绍并复现了一个仅 777 参数的 Transformer 在 10 位加法上达到 99.69% 准确率的结果。该模型为 1 层、隐藏维度 7、1 个注意力头、FFN 维度 14、词表 14、上下文长度 35，并依赖权重绑定、学习式位置编码与 0.02 高学习率。报道称，参数量远不足以记忆约 10^20 种可能题目，说明它真正学会了加法算法。 报道还称，约 800 参数处存在陡峭的“参数悬崖”，低于该阈值无论如何训练都无法泛化。复现需克隆其 notebook 并运行 10 万轮训练；报道称如此小的模型，有笔记本电脑的人即可运行实验。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。