跳到正文
热点事件持续更新

FDE-Gym发布AI交付任务基准

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Dongxu Yang等作者发布FDE-Gym基准,包含来自18个行业、20个客户场景的95个端到端交付任务,由行业专家根据真实交付项目改编,用于评估AI智能体在模糊需求和真实系统中的交付能力。 在需要自行发现未明示约束的真实设定下,最佳配置平均得分仅0.56,95个任务中只完成14个;即便在最佳配置已获取全部关键事实的23个任务中,也仅10个达到0.8以上的业务提升。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月17日
  1. Hacker News
    FDE-Gym:AI 交付的最后一公里基准

    FDE-Gym 是覆盖 18 个行业、20 个客户场景的 95 个端到端交付任务基准,用于评估 AI 智能体在模糊需求与真实系统中的交付能力。在需自行发现未明示约束的真实设定下,最佳配置平均得分仅 0.56,95 个任务中只完成 14 个。即便最佳配置已获取全部关键事实的 23 个任务中,也仅 10 个达到 0.8 以上的业务提升。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。