Hacker News· mehdizare·· 3 小时前AI 评分34
测试评分的编程智能体基准存在规格缺口:SWE-Milestone 中 25 个里程碑依赖未说明的名称或路径
What the Specification Did Not Say: Gaps in Test-Graded Coding-Agent Benchmarks
AI 导读
研究提出"规格-判分缺口"概念:编程智能体基准用上游项目测试评分,但任务描述未说明测试所需的常量名、模块路径或精确消息。在 SWE-Milestone 的 98 个评分里程碑中,25 个含依赖未说明且不可推断名称或路径的测试,这类构建单元在 80.6% 的运行中失败,而无此依赖的单元为 48.4%。
来源:Hacker News · arxiv.org