跳到正文
只看论文#编码
10月5日周一
  1. GitHub Blog · AI & ML60

    GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，基于 1.039 亿个 GitHub PR 的分布构建，包含 219 个 PR、覆盖 19 种语言，采用多来源 golden set 与统一评分标准，并由资深工程师独立复核，一致率 96.6%。

    推荐理由：GitHub 公开了代码审查基准的构建方法与离线到线上的验证数据，可据此判断评测信号是否可信。

10月1日周四
  2. Yangqing Jia38

    我们从真实项目中收集了约 10,000 个修复 bug 的 pull request，这些项目中引入 bug 的 commit 是已知的。经过逐一审核，我们在 57 个代码库、七种语言中保留了 284 个任务。 每个任务都模拟一次真实的代码审查。智能体能看到引入 bug 的 commit 以及完整的代码库上下文，但永远看不到修复方案。评判智能体只有在它于正确位置指出正确根因时，才算作成功发现。