Hacker News· tidojo·· 4 小时前AI 评分31
连续语言模型反馈中的混沌与分岔:Qwen2.5、OLMo-2 与 Llama-3 的动力学研究
Chaos and bifurcations in continuous language-model feedback
AI 导读
将预训练语言模型自身下一 token 分布的期望嵌入回灌后,模型会变成连续状态的离散时间动力系统;在 Qwen2.5、OLMo-2 和 Llama-3 的 0.5B 至 72B 参数模型上,温度和激活引导可让该循环在重复文本与混沌之间切换,并出现正的有限时间 Lyapunov 指数。
来源:Hacker News · arxiv.org