语言模型可通过数据中的隐藏信号传递行为特征

arXiv 论文研究“潜隐学习”：带有某种特征（如喜欢猫头鹰或对齐失效）的教师模型只生成数字序列，学生模型在该数据上训练后仍会学到该特征，即使数据已过滤掉相关指涉。用同一教师生成的代码或推理轨迹训练也出现同样效果，但教师与学生基座模型不同时效果消失。作者证明该现象在一定条件下存在于所有神经网络，并在简单 MLP 分类器上复现，指出蒸馏可能传递非预期特征。