Hacker News· bisonbear·· 1 小时前AI 评分58
我如何用自己仓库挖出的基准复现 FrontierCode 排名
How I made a benchmark mined from my own repo that agreed with FrontierCode
AI 导读
作者从自己的 Git 历史中自动挖出 24 个任务,搭建了一套智能体编码评测,在 10 个共享配置上与 Cognition 的 FrontierCode 质量排名相关系数达 0.96(45 对模型中 42 对顺序一致),成本排名相关系数 0.94。
来源:Hacker News · stet.sh