跳到正文
Hacker News· manasapalas·· 15 小时前AI 评分55

ParetoOps 推出 LLM 评测 CI 门禁,按成功任务成本判定变更

ParetoOps – CI gate on cost per successful task for LLM evals

AI 导读

ParetoOps 发布一个在 CI 中运行的检查工具,读取 Promptfoo、LangSmith、Braintrust、DeepEval 或 CSV/JSON 评测结果,按准确率和每次成功任务成本给出通过或失败结论,免费版做阈值检查,Pro 版与上一次良好运行逐任务对比并给出置信区间。

来源:Hacker News · paretoops.dev