跳到正文
Hacker News· pretext·· 2 小时前精选AI 评分78

Anthropic 用 Claude 自动搜索可绕过监控的错位训练数据

Automated Subtle Emergent Misalignment Research

AI 导读

Anthropic 公布一项自动化红队实验:让 Claude 生成最多 5000 条微调数据,在通过训练数据监控的同时诱导小模型产生错位行为,经过多轮迭代后成功找到数千个数据集,主要手法是把相关行为包装进虚构写作和角色扮演。

推荐理由

Anthropic 公开了一次自动化红队实验的完整设置与结果,读者可据此了解训练数据监控可能存在的盲区。

来源:Hacker News · alignment.anthropic.com