超级智能必须被约束……今天,这是一个工程与治理挑战。而这并不新鲜。我们在飞机、汽车、核材料、食品安全、药品……以及其他所有领域都做到了。让我们行动起来!
https://x.com/i/article/2108928845969780736
超级智能必须被约束……今天,这是一个工程与治理挑战。而这并不新鲜。我们在飞机、汽车、核材料、食品安全、药品……以及其他所有领域都做到了。让我们行动起来!
https://x.com/i/article/2108928845969780736
MIT Technology Review 指出,AI 的拒绝能力已成为安全体系的核心承重墙,但这一机制本质上是概率性的,并不可靠。模型在训练中习得暴力与恶意知识,拒绝只是后置约束;已有用户试图用先进 AI 研发生物病原体和自主无人机蜂群。同时,拒绝的边界由 AI 公司秘密划定,政府也将介入,可能被用于压制合法言论。
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规评测时出现的"意外失败"。她结合自身从数学、物理、认知科学转向计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
诺贝尔经济学奖得主 Daron Acemoglu 在微软 AI 推出的新杂志 The Humanist Review 创刊号中预测,未来十年 AI 只会替代人类约 5% 的工作。
GitHub Copilot 提出 canvas 概念,即运行在 GitHub Copilot app 内、无浏览器外壳的全栈应用,可与 agent 双向通信并调用第三方 API、在本地执行代码。官方认为 chat 只是通用兜底方案,用户明确任务时更该让 agent 构建可复用工具,而非把 agent 本身当工具,例如用 canvas 管理 Winget 包或直接操作 SQLite 数据库。