Hacker News· sgiannopoulos·· 2 小时前AI 评分60
Redwood 提出模拟控制评估 SCE，用 LLM 伪造工具输出测试智能体监控
Red-teaming AI agent monitors with an LLM that fakes tool outputs
AI 导读
Redwood Research 发布关于模拟控制评估（SCE）的论文，让攻击模型在真实代码库的对话记录上继续执行有害目标，但工具调用不实际执行，改由 LLM 模拟器生成工具输出、由 LLM 判官判断攻击是否成功。
来源：Hacker News · redwoodresearch.org