Mistrial：检测 LLM 裁判可靠性的开源工具
热点事件持续更新
Mistrial：检测 LLM 裁判可靠性的开源工具
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
开发者 hemanth1999k 发布开源命令行工具 Mistrial，用于检测 LLM 裁判或评测函数是否稳定：它把已有评测重跑多次，输出自一致率、翻转用例、Cohen's kappa 和 Krippendorff's alpha 等可靠性指标。 使用上，没有 API key 时可用 pipx run mistrial demo 运行三个故意不稳定的模拟裁判；多数命令读取已保存的运行结果，因此产生该结果的那次运行之后不再产生费用，report 命令也能在不调用 API 的情况下重新渲染已保存的运行。 报告上传默认关闭：只有设置 upload-report: "true" 才会把含完整用例文本的 HTML 报告作为 artifact 附加，而公开仓库的 artifact 任何拥有 GitHub 账号的人都能下载。
AI 根据报道生成 · 3 小时前更新
最新进展10月27日 08:46
Mistrial 发布 LLM 裁判可靠性检测工具，可重跑评测并统计判定翻转报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- Hacker NewsMistrial 发布 LLM 裁判可靠性检测工具，可重跑评测并统计判定翻转
Mistrial 是一个开源命令行工具，把已有的 LLM 裁判或评测函数重跑多次，输出自一致率、翻转用例、Cohen's kappa 和 Krippendorff's alpha 等可靠性卡片。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月27日 09:00
- 近 24 小时变化
- –
02.557.510
09:0010:0011:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。