跳到正文
  1. Google Research66

    Google 发布地理空间推理智能体技术报告与两个新基准

    Google 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及新提出的 GeoExpertQueries、GeoKTools 四个基准上评估四种智能体配置,并公开两个新基准的开发集。

    推荐理由:Google 公开地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等伙伴的实测案例,可了解专用工具与前置规划对空间推理的提升。

  1. Google Research60

    Google Research 三个月实验:AI 辅助提升专利撰写产出,但未加速初级律师判断力成长

    Google Research 与 NBER 发布一项为期三个月的专利撰写实地实验,将当时未发布的 Google Labs AI 专利写作助手(现属 Gemini Notebook)随机开放给 11 家知识产权律所的 133 名律师。

    推荐理由:三个月随机对照实验区分了 AI 带来的即时产出提升与无辅助判断力的变化,为评估 AI 对专业能力的影响提供了可参考的方法。

  1. GitHub Blog · AI & ML60

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub PR 的分布构建,包含 219 个 PR、覆盖 19 种语言,采用多来源 golden set 与统一评分标准,并由资深工程师独立复核,一致率 96.6%。

    推荐理由:GitHub 公开了代码审查基准的构建方法与离线到线上的验证数据,可据此判断评测信号是否可信。

  1. Hugging Face Blog66

    微软 ThinkingBox 基准:按数据库终态而非模型自述评判 AI 智能体

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox 智能体评测基准,通过隔离的 MCP 工具会话运行任务,只根据智能体留下的后端终态和副作用打分,而非其生成的文字。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出 20 次重复下的稳定性与成本数据。

已经到底了