跳到正文
Hacker News· bhu8·· 3 小时前AI 评分62

LLM Benchmaxxing 的统计分析:谁在旧基准上表现异常

A Statistical Analysis of LLM Benchmaxxing

AI 导读

作者在 Epoch Capabilities Index 基础上加入一个 benchmaxxing 系数,检验模型是否在发布前就存在的基准上表现更好,从而判断实验室是否存在针对榜单的过度优化。

来源:Hacker News · llemre.com