deepsense.ai 提出智能体 AI 系统评估框架：从数据集到发布决策

deepsense.ai 发布一套面向智能体 AI 系统的实用评估框架，覆盖数据集构建、执行环境、行为验证和指标设计四层。框架建议每个用例重复运行 k 次并以 pass^k 而非 pass@k 作为发布门槛，同时校验工具选择、调用顺序和失败处理等轨迹而非只看最终答案。文中还给出一个供应链技术支持智能体的案例，约一千条回归用例替代了重构后数周的人工验证。