跳到正文
Hacker News· polymorph1sm·· 2 小时前AI 评分48

LoRA 专用 Muon 优化器 Dimuon 到底意味着什么?

What does LoRA specialized Muon optimizer even mean?

AI 导读

作者在 Qwen3-1.7B 上用 OpenThoughts-114k 复现实验,发现 anpaure 逆向实现的 Dimuon 变体在 rank 16/64/256 上均优于调优后的 AdamW,rank 256 时领先 1.7e-3。

来源:Hacker News · zrt.wtf