跳到正文
Hacker News· myurushkin·· 2 小时前AI 评分60

确定性 AI:LLM 为何不确定,以及如何照样构建稳定产品

Deterministic AI: Why LLMs Aren't, and How to Build Products That Are Anyway

AI 导读

Broutonlab 的文章指出,LLM 即使 temperature 0 加固定 seed 也无法保证输出一致,Thinking Machines 曾用同一提示词在 temperature 0 下跑 1000 次,得到 80 种不同补全,前 102 个 token 一致后出现分歧。

来源:Hacker News · broutonlab.com