Hacker News· donk8r·· 2 小时前AI 评分71
octomind 用 25 个真实合并 PR 做编码智能体基准：同一模型换 harness 得 24/25 与 19/25
Same open model, two harnesses: 24/25 vs. 19/25 on 25 real merged pull requests
AI 导读
octomind 构建了 octobench 编码智能体基准，从 werkzeug、pydantic、rayon、eslint 等开源项目近期合并的真实 PR 中取 25 个任务，覆盖 python、php、rust、c++、js 五种语言，用项目自带的隐藏测试判定通过与否。
来源：Hacker News · octomind.run