预训练真能让化学语言模型学会化学吗？

一项针对 64 个分子性质预测数据集的研究发现，化学语言模型（CLM）的预训练收益并不随规模增长，性能在梯度提升基线之下就饱和。只有基于传统物理化学描述符的监督预训练能稳定提升下游表现，部分预训练方式甚至不如随机初始化编码器。模型虽能解析分子结构，但表现与随机初始化模型相当，说明预训练最多学到描述符类性质和低层 token 统计，化学知识有限。