octomind 发布真实 PR 编码 Agent 基准 octobench

octomind 构建了编码智能体基准 octobench，从 werkzeug、pydantic、rayon、eslint 等开源项目近期合并的真实 PR 中取 25 个任务，覆盖 Python、PHP、Rust、C++、JS 五种语言，以项目自带的隐藏测试判定是否通过。 octomind 称，同一模型换用不同 harness 后，通过数分别为 24/25 与 19/25。四款 Agent 均按原样、开箱即用的单 Agent 方式调用，未做调优，也未使用自定义提示词；glm-5.2 经 Ollama cloud 运行，该服务没有提示缓存，每一轮都按标价重新购买完整上下文。 octomind 表示，逐用例表格、复现指南、各用例的 Agent 轨迹与判定结果以及用例采集流程均已公开，并固定到本次运行的对应提交。

AI 根据报道生成 · 47 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。