Hacker News· Morksugga·· 3 小时前AI 评分32
论文提出随机拉格朗日控制与比例偏置路由,解决 MoE 专家坍缩问题
Show HN: Stochastic Lagrangian Control and Proportional Bias Routing for Moe
AI 导读
论文提出 Stochastic Augmented Lagrangian Control(SLC)与 Proportional Bias Routing 两种无辅助损失路由机制,用于解决 MoE 专家坍缩。
来源:Hacker News · github.com