IronBee 发布裸 LLM 代码审查基准，评测 21 个模型
热点事件持续更新
IronBee 发布裸 LLM 代码审查基准，评测 21 个模型
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
IronBee 用 Martian 的 Code Review Bench 对 21 个模型在 58 种配置下各跑三次，共完成 7,980 次代码审查，并公开代码、提示词、回复、判定和成本。该基准使用带人工核对答案的真实拉取请求，IronBee 称据此把 21 个商业代码审查工具放到同一尺度上比较。 两项条件影响可比性：最贵的 Claude Fable 5.1 和 GPT-6 Astra 只在 50 个拉取请求中固定的 10 个（前沿集）上运行；商业工具的审查记录来自 2026 年 1 月 22 日至 8 月 25 日、使用当时的模型，而 IronBee 的模型测试在 10 月进行。 IronBee 表示下一步将用能读取仓库的智能体跑同一基准，考察上下文在原始模型之上增加的效果。
AI 根据报道生成 · 58 分钟前更新
最新进展10月20日 22:56
IronBee 发布原始 LLM 代码审查基准：21 个模型、7,980 次审查报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- Hacker NewsIronBee 发布原始 LLM 代码审查基准：21 个模型、7,980 次审查
IronBee 用 Martian 的 Code Review Bench 对 21 个模型在 58 种配置下各跑三次，共 7,980 次代码审查，并按同一套评审流程把 21 个商业代码审查工具放到同一尺度上比较。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。