Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在解码阶段的计算瓶颈,AWS 在 Amazon SageMaker AI 上通过 Swap-AB 转置让专家维度 N=8192 进入 WGMMA 首操作数位,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及更高版本。
针对 MoE 模型在解码阶段的计算瓶颈,AWS 在 Amazon SageMaker AI 上通过 Swap-AB 转置让专家维度 N=8192 进入 WGMMA 首操作数位,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及更高版本。
北欧正加速建设欧洲重要科技生态,区域内 AI 云预计到 2027 年底部署 1 吉瓦容量,Bitdeer、CoreWeave、Crusoe、Nscale 等厂商在列。
Liquid AI 发布 LFM2.5-24B-A2B,一个总参数 24B、每 token 仅激活 2B 的推理模型,面向端侧私有智能体,会在回答前生成显式思维链并调用工具。
推荐理由:LFM2.5-24B-A2B 以 2B 激活参数在工具调用与指令遵循上对标更大 MoE,并给出端侧与 GPU 推理速度数据。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,最高 128GB 统一内存、1 petaflop AI 算力,并同步推出面向本地智能体的软件与模型更新。
推荐理由:围绕 RTX Spark 笔记本上市,梳理本地智能体、创作与开发工具链的配套更新,可据此判断本地 AI 工作流的可用程度。
NVIDIA 宣布计划投资 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法国初创公司,分别覆盖医疗智能体、原子级材料工程、通用机器人和企业规划平台。NVIDIA 在欧洲的技术生态累计投入已接近 100 亿美元,此前曾投资 Alice&Bob、Gradium 和 Scintil Photonics。
NVIDIA 在 OCP Global Summit 上通过开放 MGX 架构向 OCP 贡献了 Vera Rubin 机架和计算托盘设计,为系统厂商提供下一代 AI 工厂基础设施的共同基础。
推荐理由:NVIDIA 在 OCP 峰会上把 Vera Rubin 机架与计算托盘设计开放给 OCP,读者可据此了解 AI 工厂基础设施的开放标准走向。
Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构、Apache 2.0 许可,740M 参数,原生将文本、图像、音频和视频映射到统一嵌入空间。
推荐理由:官方给出 740M 参数、模块化编码器与端侧内存占用等具体指标,可据此判断本地多模态检索的落地成本。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Mistral 在慕尼黑开设德国中心,组建专注 Physics AI 与工业 AI 的研究团队,并计划到 2030 年建成 1 吉瓦欧洲算力。该中心将与 BMW 合作碰撞仿真与工程 AI、与 Siemens Energy 合作工业 AI 应用,并与慕尼黑工业大学(TUM)合作利用风洞设施开发汽车空气动力学数字孪生。
Mistral 宣布与 Mozilla 达成合作,Firefox 的 AI 浏览助手 Smart Window(beta)由 Mistral 模型驱动,先面向法国和北美用户,英国和德国预计今年晚些时候跟进。
Mistral 与 Cloudera 建立合作,将 Mistral 模型集成进 Cloudera 混合数据平台,企业可在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。合作还支持企业用专有数据在受控环境中训练自有模型,保留数据与模型所有权,模型可基于开放权重适配和拥有。Cloudera 平台承载 30 exabytes 客户管理数据。
Mistral 与 HUMAIN 宣布战略合作,覆盖 AI 基础设施、先进模型开发与 AI 解决方案部署,合作规模达数亿欧元。双方将优先聚焦网络安全与语音领域,并计划开发阿拉伯语表现强劲的前沿模型,Mistral 还将探索使用 HUMAIN 的数据中心基础设施。双方计划在沙特制定联合市场策略,面向受监管行业推广 AI 解决方案。