研究发现 LLM 能识别并定位其激活值上的 dropout 与高斯噪声

研究显示，语言模型能检测、定位并在一定程度上描述施加于其激活值上的语义无关扰动。作者对 Gemma、Llama、Mistral、Olmo、Qwen 和 Seed 家族 8B 至 36B 的八个模型施加 dropout 或高斯噪声，多数模型能以近乎完美的准确率完成检测与定位。Olmo 模型在预训练中形成该能力，Qwen3-32B 与 Qwen3.8-27B 识别扰动类型的零样本准确率与扰动强度相关。