Moritz Hardt 称 AI 基准测试生态已崩坏
热点事件持续更新
Moritz Hardt 称 AI 基准测试生态已崩坏
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
马克斯·普朗克研究所的 Moritz Hardt 在其新书《The Emerging Science of Machine Learning Benchmarks》中称，AI 基准测试生态已“崩坏”数十年：测试集公开，使模型可能间接“见过”考题，同一模型在不同数据集上的准确率可从 90% 降到 73%。 Hardt 认为，基准分数被严重误用，不能据此断言模型达到专家数学家水平；但模型之间的排名比较仍有意义。
AI 根据报道生成 · 2 小时前更新
最新进展10月17日 23:14
Moritz Hardt 谈 AI 基准测试：应成为科学而非“黑暗艺术”报道时间线
沿着报道，了解事件的不同侧面。
10月17日
- Hacker NewsMoritz Hardt 谈 AI 基准测试：应成为科学而非“黑暗艺术”
Max Planck 研究所的 Moritz Hardt 在新书《The Emerging Science of Machine Learning Benchmarks》中指出，AI 基准测试生态已“崩坏”数十年，测试集公开导致模型可间接“见过”考题，同一模型在不同数据集上准确率可从 90% 掉到 73%。他认为基准分数被严重误用，不能据此断言模型达到专家数学家水平，但模型间的排名比较仍有意义。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。