LLM 自报置信度分数不可靠
热点事件持续更新
LLM 自报置信度分数不可靠
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
一篇 Hacker News 文章指出，让 LLM 生成置信度分数是个坏主意：LLM 以自回归方式逐 token 生成文本，它写出的“0.85”只是对话的合理续写，并非对证据的测量，既不反映信息量，也从未经过校准。 文章称，同一问题重复提问分数会变，换个措辞分数也会变，前面的文字直接决定后面的数字。可靠的置信度需要基于信息量并对照实际结果检验，而 LLM 从未按“置信度是否匹配准确率”被评分。
AI 根据报道生成 · 2 小时前更新
最新进展10月21日 12:27
为什么用 LLM 生成置信度分数是个坏主意报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- Hacker News为什么用 LLM 生成置信度分数是个坏主意
LLM 以自回归方式逐 token 生成文本，它写出的“0.85”只是对话的合理续写，并非对证据的测量，因此既不反映信息量也从未经过校准。同一问题重复提问分数会变，换个措辞分数也会变，前面的文字直接决定后面的数字。可靠的置信度需要基于信息量并对照实际结果检验，而 LLM 从未按“置信度是否匹配准确率”被评分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。