22个决策模型被评测为编码代理策略门控

James Beno 等作者发布研究，把 22 个托管决策模型和 2 个提示式通用模型用作多规则策略引擎的分类器，在 2,643 条工具调用的合成数据集上按 28 条规则盲标，并设置密封留出集，以评估它们在编码代理运行时风险分类中的表现。 作者称，在带示例的条件下，其中一个模型的中位延迟为 120 毫秒，每千次请求收费 0.46 美元。研究同时公开了数据集、规则文本和评测工具。上述延迟与价格仅对应这一带示例的测试条件，并非所有模型或所有使用方式的通用指标。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。