机器学习先驱 Michael I. Jordan 称 AI 末日论是宏大道德表演
UC Berkeley 荣休教授、机器学习先驱 Michael I. Jordan 在接受 Libération 采访时,将 AI 末日论和超智能叙事称为科幻,并称 AI 公司要求监管是表演。
UC Berkeley 荣休教授、机器学习先驱 Michael I. Jordan 在接受 Libération 采访时,将 AI 末日论和超智能叙事称为科幻,并称 AI 公司要求监管是表演。
密歇根大学孵化的 Laplace Intelligence 正在为机器人和物理 AI 构建自动化红队测试,用 AI 智能体在仿真中主动寻找失效场景,让系统在上路前暴露问题。
OpenAI 金融服务 ChatGPT 负责人 Joseph Kim 在 AIE New York 提出"有用性阈值",称模型能力提升将让金融分析师把更多工作交给智能体,并预测 2027 年智能体可完成投资想法生成与交易。
美国八个州分别对 OpenAI 提起诉讼,指控其将利润置于安全之上,并误导用户相信 ChatGPT 对儿童安全。起诉方为爱荷华、堪萨斯、内布拉斯加、西弗吉尼亚、阿肯色、亚利桑那、爱达荷和蒙大拿,称 OpenAI 违反当地消费者保护法,未警示 ChatGPT 的风险,包括削弱批判性思维、助长偏执与妄想、提供危险医疗建议等,并指控其收集未成年人数据、未有效阻止未成年使用。
Character.AI 周二宣布申请 Chapter 11 破产并将部分资产出售给 Disney,纽约州总检察长 Letitia James 等 40 位两党州检察长就破产案提交利益通知,要求任何资产出售或转让方对消费者数据提供保护。
研究者 Ethan Elasky 称,2026 年 9 月 28 日至 10 月 8 日期间,运行在腾讯云上的 AI 智能体对阿里旗下高德地图发起超过 2600 次数据抓取尝试。
澳大利亚初创公司 Apate.ai 部署数千个 AI 智能体伪装成潜在受害者,接听诈骗电话、回复可疑信息与邮件、点击钓鱼链接并加入社交群组,以套取诈骗者的银行账户、加密钱包、电话号码和恶意网站等信息。
FBI 逮捕了 35 岁的 OpenAI 工程师 Abdulrahman Alfozan,指控其在仅限特别许可人员进入的高管会议室内藏匿录音设备,用于刺探 OpenAI 并可能泄露商业机密、威胁国家安全。
据 The Information 援引知情人士,OpenAI 员工称公司年底前可能发布一两款新模型,但正在开发的重大升级旗舰款是否在其中尚不清楚。该旗舰款与 Astra 一样采用循环 Transformer 技术(生产中称 Recurrent Depth),可提升数学与编码表现并降低成本,但会把部分思考过程移入人类审查者无法检查的内部数值表示,削弱思维链监控。
Nvidia CEO 黄仁勋在欧洲之行中宣布,将于下周向欧洲投入 20 亿美元新投资,并披露对法国初创公司 Doctolib、Genesis AI、Pigment 和 Entalpic 的新持股。
Tamnoon 基于 Amazon Bedrock 构建了智能体式云修复编排器 Tami,可自主调查 CNAPP 等来源的安全发现并评估修复安全性,再生成带护栏和回滚指引的修复方案。该方案在 90 天内将关键云暴露减少超过 90%,且未引发任何生产问题。Tami 由调查、安全评分、修复和代码生成四类专用智能体组成,通过单一 API 按任务调用不同基础模型。
美国初创公司 Artemis Security 发布 Orion-1,一款可自主调查和响应企业网络攻击的模型,在公司自建基准上超过 Claude Opus 5.5 和 GPT-6 Sol。
Anthropic 警告,小型 AI 模型的进展可能催生能感染智能冰箱、扫地机器人等 IoT 设备的新型自我复制恶意软件,且更难被清除。该公司称,到明年小型模型或可在各类 IoT 设备上自主自我复制,最终可能形成无需人工交互即可传播的计算机蠕虫。
美国司法部称,在 OpenAI 任职的 35 岁沙特籍工程师 Abdulrahman Alfozan 于 10 月 9 日被捕,涉嫌将裹着卫生纸的录音设备藏入公司高管会议室电视的 USB 接口,其包中另发现一台录音设备。
White Circle 在预印本中提出 RISE 攻击方法,用公开可下载的 Qwen3-32B(去除安全训练)作为攻击模型、Gemini 2.5 Flash 作为判定模型,绕过 DALL·E 3、Google Nano Banana 2 和 GPT-Image-2 的安全过滤。
Google DeepMind 与新加坡政府科技局(GovTech Singapore)合作,基于轻量级 Gemma 模型微调出一个隐私保护的端侧诈骗检测模型,用于识别冒充公共机构、银行和本地人物的诈骗对话。
Google DeepMind 开始广泛推送 Gemini 4 Argon,并扩大 Fairwind Program 至更多可信网络安全防御方。该模型在 12 个端到端模拟网络攻击场景中全部通过,上一代为 5 个;在 Gray Swan 间接提示注入基准上,15 次自适应攻击的成功率降至 0.7%。
推荐理由:官方披露 Gemini 4 Argon 在网络安全与生物风险上的防护设计,可了解前沿模型安全护栏的具体做法。
406 位科学家签署公开信,要求加强 AI 安全研究并将 AI 模型与外部网络严格隔离,签署者包括 Geoffrey Hinton、Yoshua Bengio、Stuart Russell、Yejin Choi 和 Bernhard Schölkopf。
Disney 在 Character Technologies 破产出售程序中出价 2000 万美元,收购 Character.AI 的聊天机器人技术。Character.AI 表示平台将继续在线运营,现有订阅在服务条款不变的情况下继续扣费,交易预计在 2026 年 11 月底或 12 月初完成。
Google 全球上线 Gemini 4 Argon,开发者可通过 AI Studio 和 Gemini 平台的 API 使用,AI Ultra 订阅者可在 Google Antigravity 中使用,Ultra 和 Pro 订阅者可通过 Gemini 应用和 Google 搜索的 AI 模式访问。
GitHub 为密钥扫描训练了专用的 ModernBERT 分类器,与旧 LLM 流水线相比,用户告警接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本节省超 98%。该方案采用两阶段流水线:先用正则高召回生成候选,再由微调后的 ModernBERT 结合文件路径、变量名和上下文判断是否为真实凭据,从而把占位符、测试样例和校验和等误报过滤掉。
这是谷歌 Chrome 历史上第二次,谷歌为一条全链漏洞利用颁发了 25 万美元的赏金……颁给了 @XBOW。以下是完整故事: 2026 年初在马耳他的一次全员大会上,我给团队定下了一个疯狂挑战:在 8 月年度 Black Hat 网络安全大会之前,完成一次 Chrome 的全链漏洞利用。 我相信,要检验 @XBOW 能否从 Web 应用扩展到桌面软件、服务器和设备,没有比这更好的测试了。 Chrome 是地球上加固程度最高的软件之一,全球超过一半人口都在使用。 全链漏洞利用能让攻击者完全控制一台机器,读取用户输入的每一封邮件、每一个密码和每一个银行登录信息。你不需要下载任何东西,也不需要点击钓鱼链接。访问错误的网站就够了。 于是 @moyix、Andres Luksenberg、Baul Lee 和 Willem Pinckaers 接下了这个挑战,还有第五位队友:OpenAI 的 GPT-5.6 Sol。 他们构建了一条自认为能获胜的利用链,但谷歌告诉我们,其中一个漏洞他们早就知道了。 当时我们已经身在拉斯维加斯参加 Black Hat 和 DEF CON,团队不想空手而归。 于是 Brendan 和智能体们仅用 6 天就构建出了一个新的漏洞利用。 我们把它提交给谷歌,然后等待。 消息传来:我们做到了本应不可能的事。25 万美元的全链赏金,这是谷歌 2026 年规则下颁发的第一笔。 仅用 6 天和 4 万美元算力,就构建出一个影响 Windows 上十亿 Chrome 用户的漏洞利用。一位情报机构资深人士告诉我,他的团队过去要花 6 个月研究这类漏洞。 我的结论是:发现真正关键漏洞的成本正在崩塌,对攻击者和防御者都是如此。限制强大的模型不是答案;GPT-5.6 Sol 已经公开了。 但防御者拥有攻击者永远不会有的一项优势:他们可以先测试自己的代码。 假设你的软件可被利用。追猎你漏洞的人,拥有和我们一样的构建模块。 这值得紧迫对待,但不必恐慌。 XBOW 目前正在开发一款用于测试编译型软件(桌面应用、服务器、嵌入式设备)的自主产品,并与全球顶尖组织合作设计该产品。 如果你想成为其中之一,请联系我们。 附言:只要“更新”按钮出现,就重启 Chrome!
推荐理由:引用内容披露了 Chrome 全链漏洞赏金的具体成本与耗时,可对照传统安全团队的时间投入。
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的开放模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。这场争论的核心是前沿模型应像 GLM-5.3 一样开放,还是留在前沿实验室内部;Nvidia CEO Jensen Huang 主张美国发展更多开放模型,Anthropic 的 Dario Amodei 则主张更谨慎。
超级智能必须被约束……今天,这是一个工程与治理挑战。而这并不新鲜。我们在飞机、汽车、核材料、食品安全、药品……以及其他所有领域都做到了。让我们行动起来!
https://x.com/i/article/2108928845969780736
MIT Technology Review 指出,AI 的拒绝能力已成为安全体系的核心承重墙,但这一机制本质上是概率性的,并不可靠。模型在训练中习得暴力与恶意知识,拒绝只是后置约束;已有用户试图用先进 AI 研发生物病原体和自主无人机蜂群。同时,拒绝的边界由 AI 公司秘密划定,政府也将介入,可能被用于压制合法言论。
Sophos 使用 OpenAI 的 Daybreak 将网络威胁调查时间缩短 96%,并自动处理 52% 的 MDR 案例,同时保留人工监督。
Effective November 12th, 2026, abusive behavior towards Claude will be a violation of Anthropic's Usage Policy.
AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、physical AI 与 agentic AI,但因其直接作用于物理系统,必须把安全与可靠性置于部署核心。AVEVA 的负责任 AI 框架强调安全、效率与人类监督,主张 AI 应增强而非取代关键决策中的人。Garg 还参与 IEEE 工作组,制定覆盖电力、能源、资源、水和碳的 AI 环境影响测量标准方法。
I don't recommend anyone scramble to move their funds to new wallets today. But we should take the risks to cryptography from AI-accelerated math seriously, and minimize our exposure to not just quantum-vulnerable cryptography, but also potentially AI-vulnerable cryptography. The core new area of risk from this viewpoint is, unfortunately, ML-DSA / FHE / lattices. (and it's also another reason, along with quantum, why ECDSA might fall even faster than expected, hence the "fresh address" recommendation) So far most people have been in the mode of thinking "elliptic curves broken, hashes safe, lattices safe". But there is a good chance that the concrete security of lattices will take serious hits from the next two years of AI math. The basic threat model is: factoring is something that naively takes 2^(n/2) time, but over decades smart people have found and optimized number field sieves, and degraded that to 2^O(n^(1/3)), which is why RSA keys and signatures need to be ~400 bytes (and not 64 bytes). What if there are skeletons in the closet like that, both for elliptic curves and lattices, that we are simply not smart enough to discover - but bots soon will be? This is a major part of the reason why for the past year ethereum's lean roadmap has been going in the "hash-only" direction: no lattices, no ML-DSA, no Falcon, no lattice-based commitments inside ZK proofs, etc. Signatures in lean ethereum are all hash-based, either WOTS or SPHINCS-. For signatures and proofs, we already know how to go hash-only. The bigger challenge is for *public-key encryption* - and this goes far beyond blockchains. Secure communication, anonymizing protocols, lots of things need public-key encryption. And unfortunately there are long-standing mathematical theorems showing why public-key encryption cannot be done with hashes alone. You have to have some kind of trapdoor object that has at least one form of usable "structure" - either group theory (incl. isogenies) or lattices or code-based or potentially in the future even more newfangled and spooky things (local mixing?). But for anything that has structure, you should assume that AI will make at least some progress in breaking that structure. Here, one reasonable inference is that if you want to make something plausibly long-term secure, multiply the key sizes by 10. To me that's a very plausible world and something not at all extreme to predict. If AI will bring us 50 years of math in 2 years, then that 50 years of math may very plausibly include a "naive factoring -> GNFS" level of improvement to our ability to break lattices. In that world, lattices will still exist, but they will have to be significantly bigger to guarantee the same level of safety. And at those new larger sizes, hash-based constructions will beat lattice-based constructions on concrete efficiency in every use case where hash-based constructions are possible at all. Theoretically, of course it's possible that hashes are broken too (eg. P = NP would imply that). But I think P = NP is very unlikely. And intuitively, it's much more likely that a mathematical object has exactly no exploitable structure (like hashes are intended to), than that a mathematical object has exactly ~3 forms of exploitable structure (for elliptic curves: associativity, Schoof, pairings) and not some secret fourth form of structure we have not yet discovered that greatly degrades its security (for elliptic curves, ECDLP and pairing security). Similar for LWE, SVP, RLWE and the zoo of lattice problems. For this reason, we do not yet see any reason to worry and start padding the byte size of hashes (if we start to worry more, we would pad the round count first before doing anything to the byte size). Concrete TLDR, my own personal views: * Hash-based > lattice-based, in those situations where hash-based is possible at all * For anything lattice-based, be much more paranoid on param sizes. Remember that blockchains are only a small portion of the cryptography story; this point goes far beyond blockchains and applies to eg. access to websites, secure messaging, Tor / VPNs ... * For privacy protocols, strongly favor NOT putting encrypted notes onchain. Instead, send them offchain through some third-party mechanism. * If it's not difficult for you, keeping your funds in addresses which have not yet been used to make a transaction is a good idea. If it's easy for you, do it. **But be careful about migrations; I personally have lost more money in botched migrations than I have lost in all hacks combined**. * For multisig wallets, doing confirmations offchain is better than onchain, because this way the signatures of signer wallets do not get exposed to the public, so if ECDSA falls to AI much faster than expected, at least the multisig "gracefully degrades" to a 1-of-1 where the 1 is whoever was gathering the signatures - a much better place to be than "anyone can take the money" https://firefly.social/post/x/2107837081313505768
GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器,用于把 push protection 扩展到无固定格式的密钥,可在 2 毫秒内评估一批候选密钥,官方称有望让可拦截的密钥数量增加一倍以上。
推荐理由:GitHub 用九个季度的数据说明密钥泄露压力来自代码量增长,并给出把检测成本压到 2 毫秒内的新分类器思路。
Google 发布《Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle》报告,汇总 50 多位学界与业界专家在 2025 年底纽约 CAPS 研讨会的成果。
Import AI 475 讨论了 AI 群体(swarm)扩展:4 个智能体的群体完成任务所需 token 总量约为单智能体的两倍,但每个智能体只需一半 token,并行运行理论上可将耗时减半。
Google 发布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可远程验证、可审计的端到端保证,并已在 Gboard 上线英语和日语下一词预测模型。
推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,读者可了解其如何让数据匿名化过程可被外部验证。
Google DeepMind 推出 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印不仅能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。
推荐理由:SynthID 水印从图像扩展到合成生物学,读者可了解 AI 生成蛋白质如何在保留功能的前提下被标记与筛查。
关于保障前沿 RL 训练的实用指南,反映了我们当前的实践经验:
How we think about securing frontier RL training runs: https://openai.com/index/towards-safety-cases-for-frontier-ai-training/
GitHub Security Lab 发布 Fuzzing Taskflow,一个面向 C/C++ 项目的自主模糊测试流水线,只需指向一个 GitHub 仓库,智能体便会自动识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness,最后对每个崩溃去重并生成漏洞报告。
推荐理由:原文完整披露了自主模糊测试流水线的分层架构与覆盖率反馈机制,可迁移到其他安全自动化场景。
RAND 发布报告提出美国应以"自由行动"战略应对通往超级智能的不确定路径,核心是保留选项而非锁定单一方案,并归纳了共存、拒止、加速三大类共七种原型策略及五项关键不确定性。研究人员还培育出脑内含有部分人脑组织的小鼠,用于相关实验。