Hacker News· gmays·· 2 小时前AI 评分58
Exa 发布 ATLAS 基准,评测搜索密集型任务上的智能体
Atlas: Evaluating Agents on Search-Intensive Tasks
AI 导读
Exa 预览 ATLAS 基准,包含 547 个基于真实搜索需求生成的深度与广度研究任务,用固定答案表自动评分。测试中成本低于每任务 1 美元的系统行 F1 均未超过 0.5,最贵系统以 8.92 美元、18 分钟达到 0.66,且仍漏掉约三分之一答案。Exa 称将公开任务、答案表和评分器,并计划每 3–6 个月按新搜索趋势重新生成。
来源:Hacker News · exa.ai