Sam Altman 转发 Nick Cammarata 谈可解释性与对齐

Sam Altman 转发 Nick Cammarata 关于可解释性的观点，称很高兴看到这一内容。Cammarata 认为可解释性可能是当下最重要的科学问题，因为不了解所构建的系统就无法解决对齐。 Cammarata 称，他曾在 OpenAI 参与机制可解释性早期工作并因此悲观，后来启动 OpenAI 首个大规模自动化可解释性项目，当时用原始工具只能识别约 2% 的神经元。他表示，借助现代智能体工具，参数量达万亿级的模型中绝大多数神经元可读、回路清晰，许多著名的纠缠神经元案例实为误读。他认为随着自动化科学家不断进步，雄心勃勃的可解释性研究有望在最需要时被解决。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。