Hacker News· AkshatRaj00·· 2 小时前AI 评分18
SmolLM-135M 上的零空间投影持续学习基准测试:WS-NSC 实证研究
Benchmarking null-space projection for continual learning in SmolLM-135M
AI 导读
研究对 SmolLM-135M 上的 Wake-Sleep Null-Space Consolidation(WS-NSC)进行实证基准测试,在 GSM8K → IMDb → AG News 序列流(以 WikiText-2 为锚点)上,WS-NSC 将灾难性遗忘的相对漂移控制在 -0.39%,而直接合并低秩更新为 +5.83%。
来源:Hacker News · zenodo.org