研究：化学语言模型预训练收益有限

Yoel Zimmermann 等研究者系统测试了化学语言模型（CLM）的预训练效果，覆盖 64 个分子性质预测数据集，结论是预训练收益并不随规模增长，性能在低于梯度提升基线时就饱和。 研究称，只有基于传统物理化学描述符的监督预训练能稳定提升下游表现，部分预训练方式甚至不如随机初始化编码器；模型虽能解析分子结构，但表现与随机初始化模型相当，说明预训练最多学到描述符类性质和低层 token 统计，化学知识有限。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。