跳到正文
Hacker News· nvmdbljstm·· 3 小时前AI 评分58

OpenAI Cookbook:如何对插件做 harness 感知的评测

Harness-aware evaluation of plugins (OpenAI Cookbook)

AI 导读

OpenAI Cookbook 发布一篇插件评测教程,用同一套五个测试用例在直接工具测试、独立 function-calling 循环和 Codex harness 三个层级上运行,说明同一模型在受控循环里能正确解析的查询,进入真实 agent 后可能几乎不调用工具。

来源:Hacker News · developers.openai.com