Broutonlab 发布确定性 AI 产品构建指南

Broutonlab 发布了一份构建确定性 AI 产品的分层方法与测试流程指南，讨论确定性系统与概率系统的区别、语言模型输出漂移的原因，以及让产品两次做出相同决策的分层做法。该指南称，LLM 即使在 temperature 0 加固定 seed 下也无法保证输出一致：Thinking Machines 用同一提示词在 temperature 0 下跑 1000 次，得到 80 种不同补全，前 102 个 token 一致后出现分歧。 指南目前处于早期访问阶段，其中的数字来自供应商，Broutonlab 建议先在自己的评估集上验证再采信。指南还建议按决策类型设定一致性门槛：涉及金钱或访问权限的决策要求 100% 一致，起草类可放宽；其方法每次需调用模型五次，宜用于结果翻转代价高的决策。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。