Forking Fast：高效估计文本生成中的不确定性动态

研究提出 Forking Fast 方法，通过统计模型平滑低采样 rollout 数据以逼近高采样结果，显著降低对推理链逐 token 或逐句重采样的计算成本。作者发现多次重采样后不确定性动态会收敛到稳定模式，噪声主要来自采样过程而非 LLM 对单个 token 或推理步骤的敏感度。该工作同时探讨了解释文本生成不确定性动态的合适统计模型。