决策模型评测的阈值调优与校准方法

Hamel Husain 发布教程，介绍如何用决策模型做自动化评测：先调阈值以取得最佳结果，再比较各模型的成本与性能，并讨论概率校准。 教程的实测基于一套公寓租赁智能体对话轨迹：共 100 条，剔除 2 条内部 QA 示例后，实际评分 98 条生产轨迹；原始对话未公开。教程称延迟受实验外因素影响，因此未纳入比较。 教程还列出参与对比的模型，包括 Jev 1.13、Perplexity Decider 1.1 27B、Liquid d1 与 d1-ultra、Cloudflare Clef Flash 和 OpenAI Decisions（GPT-6 Luna），用于识别失败表现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。