为什么用 LLM 生成置信度分数是个坏主意

LLM 以自回归方式逐 token 生成文本，它写出的“0.85”只是对话的合理续写，并非对证据的测量，因此既不反映信息量也从未经过校准。同一问题重复提问分数会变，换个措辞分数也会变，前面的文字直接决定后面的数字。可靠的置信度需要基于信息量并对照实际结果检验，而 LLM 从未按“置信度是否匹配准确率”被评分。