Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在解码阶段的计算瓶颈,AWS 在 Amazon SageMaker AI 上通过 Swap-AB 转置让专家维度 N=8192 进入 WGMMA 首操作数位,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及更高版本。
针对 MoE 模型在解码阶段的计算瓶颈,AWS 在 Amazon SageMaker AI 上通过 Swap-AB 转置让专家维度 N=8192 进入 WGMMA 首操作数位,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及更高版本。
AWS 博客介绍 SpaceXAI 的 Grok 4.7 已在 Amazon Bedrock 上线,作者用工具调用智能体在三个需要搜索而非查表的基础设施任务上跑了 72 次评测,67 次答对,xhigh 档 18 次全对,low 档答对 15 次且输出 token 约为 xhigh 的八分之一。
推荐理由:作者在 Amazon Bedrock 上实测 Grok 4.7 四档推理强度,给出准确率与 token 成本的权衡数据,方法可迁移到自建智能体评测。
北欧正加速建设欧洲重要科技生态,区域内 AI 云预计到 2027 年底部署 1 吉瓦容量,Bitdeer、CoreWeave、Crusoe、Nscale 等厂商在列。
亚马逊云科技发布基于 Amazon Bedrock AgentCore 的智能体文档处理(IDP)方案,用 8 个专用智能体在两条图工作流中完成文档分类、抽取、校验与自我学习,可自动适配供应商发票等新格式,无需手工模板配置,通常 20 分钟内即可部署多智能体 IDP 系统。
Google Research 在 Research@ 活动上公布 10 项研究进展,包括扩展 Google Earth AI 早期访问并开放三项实验能力,以及向公众开放 Deep Review 用于核查法律协议、财务报告等技术文档。TimesFM 与 TabFM 两个数值基础模型将集成进 Gemini for business,此前已面向所有 Cloud BigQuery 用户开放。
Google 公开发布智能体系统 Deep Review,为复杂文档提供技术验证与反馈,最初面向计算机科学论文,现已扩展到法律、金融等领域。每位用户每周可免费获得两次文档审阅,也可接入 Gemini API key 提升额度并通过 Deep Review API 集成,目前支持 PDF 和纯文本输入。
推荐理由:Google 公开了 Deep Review 的四阶段智能体审稿流程与免费额度,读者可据此判断自动技术审阅的可用边界。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可自动生成 PowerPoint 演示文稿,内部测试中耗时不到 90 秒。
Tamnoon 基于 Amazon Bedrock 构建了智能体式云修复编排器 Tami,可自主调查 CNAPP 等来源的安全发现并评估修复安全性,再生成带护栏和回滚指引的修复方案。该方案在 90 天内将关键云暴露减少超过 90%,且未引发任何生产问题。Tami 由调查、安全评分、修复和代码生成四类专用智能体组成,通过单一 API 按任务调用不同基础模型。
Amazon SageMaker JumpStart 提供了一套可复用的 Python 脚本流程,用于部署模型、用示例提示词测试并测量延迟与单请求生成速率,测试完成后删除端点。
NVIDIA 宣布对 Boltz、Foresight、Hiverge、Prima Mente 和 Riverlane 五家英国 AI 与量子计算初创企业进行新投资,此前已投资 Synthesia、Wayve 等公司。NVIDIA 还以全球联盟创始合作伙伴身份加入 Earthshot Prize,并承诺五年 2.5 亿美元算力投入,用于加强英国智能体安全与安保研究。
欧洲多国城市正联合 ABA Technology、Akila、K2K、Honeywell Technologies 等软件伙伴,基于 NVIDIA Cosmos、Nemotron 开放模型、Metropolis VSS 蓝图和 Omniverse 构建物理 AI 智能体与数字孪生,用于交通、能源、公共安全等城市运营。
AWS 与 Anchor Browser 合作,将 AgentCore payments 集成进云端浏览器,让 AI 智能体在遇到 HTTP 402 Payment Required 时自动完成 x402 协议支付并重试请求。
推荐理由:原文给出开启 session.x402 即可让浏览器智能体自动完成 x402 支付的具体做法,可迁移到付费页面与 API 的自动化流程。
GitHub 为密钥扫描训练了专用的 ModernBERT 分类器,与旧 LLM 流水线相比,用户告警接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本节省超 98%。该方案采用两阶段流水线:先用正则高召回生成候选,再由微调后的 ModernBERT 结合文件路径、变量名和上下文判断是否为真实凭据,从而把占位符、测试样例和校验和等误报过滤掉。
Amazon Bedrock 借助 managed entitlements 简化多账号访问第三方 AI 模型,只需在中心账号订阅一次即可向全组织分发。文章给出两种在 AWS License Manager 中激活 AWS Marketplace 私有定价优惠(MPPO)权益的方式:轻量脚本用于一次性激活,CDK 自动化用于持续的事件驱动处理。
Orca Security 与 AWS 合作在 Amazon Bedrock 上构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。
ShipStation Global 工程团队基于 Amazon Bedrock AgentCore 打造了 Slack 内的 AI IT 服务台 Deckhand,可回答常规 IT 与公司问题、识别报错截图,并创建和更新 Jira Service Management 工单。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,最高 128GB 统一内存、1 petaflop AI 算力,并同步推出面向本地智能体的软件与模型更新。
推荐理由:围绕 RTX Spark 笔记本上市,梳理本地智能体、创作与开发工具链的配套更新,可据此判断本地 AI 工作流的可用程度。
NVIDIA 在 OCP Global Summit 上通过开放 MGX 架构向 OCP 贡献了 Vera Rubin 机架和计算托盘设计,为系统厂商提供下一代 AI 工厂基础设施的共同基础。
推荐理由:NVIDIA 在 OCP 峰会上把 Vera Rubin 机架与计算托盘设计开放给 OCP,读者可据此了解 AI 工厂基础设施的开放标准走向。
NVIDIA 开发者用 GPT-6 Astra、Claude Fable 5 等前沿 AI 智能体配合 Omniverse 库,通过自然语言指令构建仿真应用。
《Gears of War: E-Day》本周正式上线 GeForce NOW,Ultimate 会员可以 GeForce RTX 5080 级性能在云端游玩,并支持 NVIDIA DLSS 和 NVIDIA Reflex。
作者借助 HuggingChat 中的 ML Intern,在两天内训练并发布了六个模型,包括柑橘病害识别、Huggy LoRA、相机角度 LoRA、涂鸦替换 LoRA、Pocket Rewriter 和 Agate 4-step 蒸馏模型,总计算成本约 103 美元。
推荐理由:作者用 ML Intern 在两天内做出六个模型,给出了提示词写法、预算控制和基线对比等可复用细节。
GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器,用于把 push protection 扩展到无固定格式的密钥,可在 2 毫秒内评估一批候选密钥,官方称有望让可拦截的密钥数量增加一倍以上。
推荐理由:GitHub 用九个季度的数据说明密钥泄露压力来自代码量增长,并给出把检测成本压到 2 毫秒内的新分类器思路。
微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练,无需在训练框架内重写智能体。
推荐理由:微软研究院开源 Agent Lightning v1.0,读者可了解让部署用 harness 直接参与 RL 训练的思路与实测收益。
Google 发布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可远程验证、可审计的端到端保证,并已在 Gboard 上线英语和日语下一词预测模型。
推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,读者可了解其如何让数据匿名化过程可被外部验证。
ServiceNow CoreAI 构建了 AutoSynthData,利用目标模型的失败案例与更强教师的成功轨迹定位能力缺口,再生成并验证新任务用于后训练。该流程以 system specification、user prompt、verifier 三要素定义任务,要求任务可行、真实且尚未被稳定解决,并随模型改进动态调整课程。团队以 EnterpriseOps Gym 数据集演示了该流水线。
微软研究院实习生开发了一套端到端机器学习流水线,结合太阳风观测、AE 与 Dst 指数预报、地质电导率和电网数据,为美国本土 66,935 座变电站生成 30-60 分钟前的空间天气风险估计。
Mistral 在慕尼黑开设德国中心,组建专注 Physics AI 与工业 AI 的研究团队,并计划到 2030 年建成 1 吉瓦欧洲算力。该中心将与 BMW 合作碰撞仿真与工程 AI、与 Siemens Energy 合作工业 AI 应用,并与慕尼黑工业大学(TUM)合作利用风洞设施开发汽车空气动力学数字孪生。
GitHub Copilot 提出 canvas 概念,即运行在 GitHub Copilot app 内、无浏览器外壳的全栈应用,可与 agent 双向通信并调用第三方 API、在本地执行代码。官方认为 chat 只是通用兜底方案,用户明确任务时更该让 agent 构建可复用工具,而非把 agent 本身当工具,例如用 canvas 管理 Winget 包或直接操作 SQLite 数据库。
微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。
推荐理由:微软研究院系统测量了机器人端侧推理与卸载到边缘或云端 GPU 的差异,并给出可复用的 Kubernetes 卸载工具链。
Mistral 与 Cloudera 建立合作,将 Mistral 模型集成进 Cloudera 混合数据平台,企业可在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。合作还支持企业用专有数据在受控环境中训练自有模型,保留数据与模型所有权,模型可基于开放权重适配和拥有。Cloudera 平台承载 30 exabytes 客户管理数据。
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 的油藏模拟器迁移到 C++,该代码库没有测试套件也没有集中文档。团队先搭建数值对齐测试框架,用 Skill.md 引导智能体导出 Fortran 状态快照并在 C++ 侧校验,再用自定义解析器生成调用树、由 Vibe CLI 启动上百个智能体结合 Mistral OCR 补全文档。
推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,其中先建数值对齐测试再迁移的做法可迁移到其他遗留系统改造。
Mistral 与 HUMAIN 宣布战略合作,覆盖 AI 基础设施、先进模型开发与 AI 解决方案部署,合作规模达数亿欧元。双方将优先聚焦网络安全与语音领域,并计划开发阿拉伯语表现强劲的前沿模型,Mistral 还将探索使用 HUMAIN 的数据中心基础设施。双方计划在沙特制定联合市场策略,面向受监管行业推广 AI 解决方案。
Mistral 发布 Agentic Search,一种让模型在检索结果中继续搜索、打开、导航、读取和 grep 的多步检索层,通过 Mistral Search Toolkit 提供,并内置在 Studio 和 Vibe 的 Libraries 中。
推荐理由:原文给出多步检索循环的五个工具与两组基准数据,读者可据此判断传统 RAG 在复杂文档上的边界。
Berkeley AI Research 与 IBM Research 将进化式内核搜索框架 K-Search 扩展到 MLX,通过结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核经验适配 Apple Silicon。
推荐理由:原文给出 CUDA 到 MLX 的翻译层设计与两组内核实测数据,可了解跨硬件迁移优化知识的具体做法。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,随着推理成本从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不到 $1、部分厂商低于 $0.10,数据系统需应对三类新挑战:面向智能体的数据系统、由智能体运行的数据系统、由智能体构建的数据系统。
伯克利 AI 研究团队梳理了并行推理领域进展,指出当前多数方法(如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!