Hacker News· bhu8·· 3 小时前AI 评分62
LLM Benchmaxxing 的统计分析:谁在旧基准上表现异常
A Statistical Analysis of LLM Benchmaxxing
AI 导读
作者在 Epoch Capabilities Index 基础上加入一个 benchmaxxing 系数,检验模型是否在发布前就存在的基准上表现更好,从而判断实验室是否存在针对榜单的过度优化。
来源:Hacker News · llemre.com
A Statistical Analysis of LLM Benchmaxxing
作者在 Epoch Capabilities Index 基础上加入一个 benchmaxxing 系数,检验模型是否在发布前就存在的基准上表现更好,从而判断实验室是否存在针对榜单的过度优化。
来源:Hacker News · llemre.com