Exa预览ATLAS搜索智能体基准

Exa 预览发布 ATLAS 基准，用于评测智能体在依赖网络搜索的真实任务中的准确性和完整性。该基准包含 547 个由真实搜索需求生成的深度与广度研究任务，用固定答案表自动评分。 Exa 公布的测试结果显示，成本低于每任务 1 美元的系统 F1 均未超过 0.5；最贵系统以 8.92 美元、18 分钟达到 0.66，但仍漏掉约三分之一答案。 Exa 称将在未来几周公开任务、答案表和评分器及完整技术细节，并计划每 3–6 个月按新的搜索需求重新生成 ATLAS。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。