跳到正文
Hacker News· Betelbuddy·· 2 小时前AI 评分47

FDE-Gym:AI 交付的最后一公里基准

FDE-Gym: The Last Mile of AI Delivery

AI 导读

FDE-Gym 是覆盖 18 个行业、20 个客户场景的 95 个端到端交付任务基准,用于评估 AI 智能体在模糊需求与真实系统中的交付能力。在需自行发现未明示约束的真实设定下,最佳配置平均得分仅 0.56,95 个任务中只完成 14 个。即便最佳配置已获取全部关键事实的 23 个任务中,也仅 10 个达到 0.8 以上的业务提升。

来源:Hacker News · arxiv.org