有人发布LLM基准刷分统计分析

有作者在 Epoch Capabilities Index（ECI）基础上加入一个 benchmaxxing 系数，用统计分析检验模型是否在发布前就已存在的基准上表现更好，以此判断实验室是否存在针对榜单的过度优化。作者称，此举是为了检验“实验室刷榜”这一指控。 该分析针对的是旧基准上的异常表现，结论指向哪些实验室可能对榜单做了过度优化。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。