Moritz Hardt 谈 AI 基准测试：应成为科学而非“黑暗艺术”

Max Planck 研究所的 Moritz Hardt 在新书《The Emerging Science of Machine Learning Benchmarks》中指出，AI 基准测试生态已“崩坏”数十年，测试集公开导致模型可间接“见过”考题，同一模型在不同数据集上准确率可从 90% 掉到 73%。他认为基准分数被严重误用，不能据此断言模型达到专家数学家水平，但模型间的排名比较仍有意义。