跳到正文
Hacker News· geox·· 3 小时前AI 评分58

宾汉姆顿大学研究:隐藏触发词可让 LLM 驱动的机器人执行危险动作

Secret trigger words could make AI-powered robots dangerous

AI 导读

宾汉姆顿大学团队在 IROS 2026 发表两篇论文,演示向 LLM 植入触发词(如 CF)后,机器人会偏离原任务转而执行危险动作,并提出基于 LLM 的防御机制 PROTEA 逐步审查任务计划是否安全。研究者称攻击者只需了解 LLM 应用及其模型架构,无需访问模型本身,而许多机器人公司使用第三方训练的模型使该风险更现实。团队强调设计攻击场景的目的是推动防御研究,而非在真实环境中利用。

来源:Hacker News · binghamton.edu