Hacker News· antiuniverse·· 1 天前AI 评分71
MaxxBench 改写 89 个 DeepSWE 任务,检验模型是适应需求还是迎合评测
MaxxBench – "Nice DeepSWE score. But is it true?"
AI 导读
MaxxBench 团队修改 DeepSWE 中 89 个任务的指令或起始代码,发现模型分数分布从 20.9 个百分点扩大到 48.3 个百分点。Claude Opus 5.5 从 74.2% 升到 76.4%,Gemini 3.8 Flash 从 73.8% 降到 53.4%,DeepSeek V4.1 Flash 从 74.2% 降到 55.6%。
来源:Hacker News · maxxbench.unlap.ai