强化学习让小模型学会STL机器人规划

研究者 sundw 分享：用强化学习训练 Qwen3.5-9B，使其在 Signal Temporal Logic（STL）机器人规划任务上的可靠性接近更大的参考模型 DeepSeek-V4.1-Flash-1017。任务要求模型读取 2D 地图与 STL 子句，输出带时间戳的路点路径，不要求最优解。 训练并非一次成功：首次尝试没有学到任何东西，修复后才具备学习效果，之后又做了提速。每次请求在 32k 上下文中为回复预留 16k token，对话超过约 16k token 或达到 24 轮时该回合即结束；每次强化学习运行使用单张 NVIDIA H100（80 GB），机器为从 Nebius 租用的 spot H100 实例，价格在每小时 0.8 至 2 美元之间浮动。 “接近参考模型可靠性”是分享者给出的结论，报道未提供独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。