跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

4 条精选近 30 天 3 条共收录 20 条

更新

评测基准的精选

今天10月15日周四第 1–4 条
  1. Google Research66

    Google 发布地理空间推理智能体技术报告与两个新基准

    Google 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及新提出的 GeoExpertQueries、GeoKTools 四个基准上评估四种智能体配置,并公开两个新基准的开发集。

    推荐理由:Google 公开地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等伙伴的实测案例,可了解专用工具与前置规划对空间推理的提升。

10月5日周一
  1. GitHub Blog · AI & ML60

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub PR 的分布构建,包含 219 个 PR、覆盖 19 种语言,采用多来源 golden set 与统一评分标准,并由资深工程师独立复核,一致率 96.6%。

    推荐理由:GitHub 公开了代码审查基准的构建方法与离线到线上的验证数据,可据此判断评测信号是否可信。

10月4日周日
  1. Hugging Face Blog66

    微软 ThinkingBox 基准:按数据库终态而非模型自述评判 AI 智能体

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox 智能体评测基准,通过隔离的 MCP 工具会话运行任务,只根据智能体留下的后端终态和副作用打分,而非其生成的文字。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出 20 次重复下的稳定性与成本数据。

8月20日周四
  1. Mistral AI69

    Mistral 发布 Agentic Search,用多步检索循环提升复杂文档问答准确率

    Mistral 发布 Agentic Search,一种让模型在检索结果中继续搜索、打开、导航、读取和 grep 的多步检索层,通过 Mistral Search Toolkit 提供,并内置在 Studio 和 Vibe 的 Libraries 中。

    推荐理由:原文给出多步检索循环的五个工具与两组基准数据,读者可据此判断传统 RAG 在复杂文档上的边界。