MIT CSAIL分析Qwen权重编辑机制

HedwigAI 复现了 MIT CSAIL 对 Qwen3.5-0.8B 的权重编辑实验，结论是：这次编辑只改动两层 down_proj 的 64 个神经元，作用是移除一个与重复循环相关的方向，并没有让模型学会数学。 MIT CSAIL 团队此前发布了对该模型权重编辑效果的分析与复测，作者称其追踪到了模型的思考循环。复现运行使用 vLLM 和 bf16 权重，在单张 RTX 3090 上进行；开启思考时采用作者参数（temperature 0.6、top-p 0.95、top-k 20、presence penalty 1.5），关闭思考时采用模型卡参数（temperature 0.7、top-p 0.8、top-k 20、presence penalty 1.5，每题 4 个答案，上限 8192 tokens）。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。