777 参数 Transformer 学会真实数学：Grokking 现象解析

一个仅 777 参数的 Transformer 在 10 位加法上达到 99.69% 准确率，参数量远不足以记忆约 10^20 种可能题目，说明它真正学会了加法算法。该模型采用 1 层、隐藏维度 7、1 个注意力头、FFN 维度 14、词表 14、上下文长度 35，并依赖权重绑定、学习式位置编码与 0.02 高学习率。约 800 参数处存在陡峭的“参数悬崖”，低于该阈值无论如何训练都无法泛化。