RMSNorm 与 LayerNorm 有何区别：用 GPT-2 small 训练对比

文章对比了 LayerNorm 与 RMSNorm 的差异，并训练多个 GPT-2 small 风格模型进行实测。RMSNorm 源自 2019 年 Biao Zhang 与 Rico Sennrich 的论文，其核心观点是 LayerNorm 真正起作用的是缩放归一化而非均值归一化。作者还记录了在 JAX 中黑盒复现 GPT-2 时去掉 LayerNorm 后训练约 100 步即失败的经历。