从零推导 Muon 优化器

ltononro 发表了一篇教程，从梯度下降出发推导出 Muon 优化器的更新公式。其核心思路是把权重矩阵视为一种变换，而非数字列表，并用谱范数衡量更新对层输出的最大影响。 推导对比了两种步长预算：用 Frobenius 范数会得到圆形可行域，用谱范数则得到方形可行域，由此得到 Muon 的更新方向。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。