如何凭记忆推导出 Muon 优化器

文章从梯度下降出发，逐步推导出 Muon 优化器的更新公式，核心是把权重矩阵视为变换而非数字列表，并用谱范数衡量更新对层输出的最大影响。推导对比了 Frobenius 范数与谱范数两种步长预算：前者给出圆形可行域，后者给出方形可行域，最终得到 Muon 的更新方向。