跳到正文
今天10月15日周四3 条
  1. Google Research66

    Google 发布地理空间推理智能体技术报告与两个新基准

    Google 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及新提出的 GeoExpertQueries、GeoKTools 四个基准上评估四种智能体配置,并公开两个新基准的开发集。

    推荐理由:Google 公开地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等伙伴的实测案例,可了解专用工具与前置规划对空间推理的提升。

10月13日周二
  1. Microsoft Research40

    微软研究院推出 StudentSim:用个性化 AI 学生模拟器评估和改进 AI 辅导系统

    微软研究院提出 StudentSim,一种从公开去标识化学习记录中训练个性化 AI 学生模拟器的研究系统,用于在真实学习者测试前评估和改进 AI 辅导系统。该研究同时发布 StudentSimEval 基准,覆盖国际象棋、第二语言英语写作和数学三个领域,从行为保真度和指导响应性两个维度评估模拟器,StudentSim 在三个领域均优于领先基线。

10月8日周四
  1. Google Research60

    Google Research 三个月实验:AI 辅助提升专利撰写产出,但未加速初级律师判断力成长

    Google Research 与 NBER 发布一项为期三个月的专利撰写实地实验,将当时未发布的 Google Labs AI 专利写作助手(现属 Gemini Notebook)随机开放给 11 家知识产权律所的 133 名律师。

    推荐理由:三个月随机对照实验区分了 AI 带来的即时产出提升与无辅助判断力的变化,为评估 AI 对专业能力的影响提供了可参考的方法。

10月6日周二
10月5日周一
  1. GitHub Blog · AI & ML60

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub PR 的分布构建,包含 219 个 PR、覆盖 19 种语言,采用多来源 golden set 与统一评分标准,并由资深工程师独立复核,一致率 96.6%。

    推荐理由:GitHub 公开了代码审查基准的构建方法与离线到线上的验证数据,可据此判断评测信号是否可信。

10月4日周日
  1. Hugging Face Blog66

    微软 ThinkingBox 基准:按数据库终态而非模型自述评判 AI 智能体

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox 智能体评测基准,通过隔离的 MCP 工具会话运行任务,只根据智能体留下的后端终态和副作用打分,而非其生成的文字。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出 20 次重复下的稳定性与成本数据。

10月2日周五
  1. Hugging Face Blog37

    ServiceNow CoreAI 推出 AutoSynthData:为企业智能体生成训练数据

    ServiceNow CoreAI 构建了 AutoSynthData,利用目标模型的失败案例与更强教师的成功轨迹定位能力缺口,再生成并验证新任务用于后训练。该流程以 system specification、user prompt、verifier 三要素定义任务,要求任务可行、真实且尚未被稳定解决,并随模型改进动态调整课程。团队以 EnterpriseOps Gym 数据集演示了该流水线。

10月1日周四
9月7日周一
8月17日周一
7月26日周日
  1. Berkeley AI Research36

    Berkeley AI Research 提出 ABBEL:用信念状态监督 LLM 长程交互

    Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,替代完整交互历史作为智能体的工作上下文。在 CollabBench 协作编程任务中,基于重构的信念评分(rec-BG)将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值 token 长度也显著低于全上下文设置。