编程智能体基准被指规格与判分脱节

Ding Fei 等研究者提出“规格-判分缺口”概念：编程智能体基准用上游项目测试评分，但任务描述未说明测试所需的常量名、模块路径或精确消息，因此基准也在衡量智能体能否复现上游实现细节。 在 SWE-Milestone 的 98 个评分里程碑中，25 个含依赖未说明且不可推断名称或路径的测试；这类构建单元在 80.6% 的运行中失败，而无此依赖的单元为 48.4%。研究者同时构建了覆盖五种语言的静态审计。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。