Hacker News· nvmdbljstm·· 3 小时前AI 评分58
OpenAI Cookbook:如何对插件做 harness 感知的评测
Harness-aware evaluation of plugins (OpenAI Cookbook)
AI 导读
OpenAI Cookbook 发布一篇插件评测教程,用同一套五个测试用例在直接工具测试、独立 function-calling 循环和 Codex harness 三个层级上运行,说明同一模型在受控循环里能正确解析的查询,进入真实 agent 后可能几乎不调用工具。
来源:Hacker News · developers.openai.com