Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在解码阶段的计算瓶颈,AWS 在 Amazon SageMaker AI 上通过 Swap-AB 转置让专家维度 N=8192 进入 WGMMA 首操作数位,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及更高版本。
针对 MoE 模型在解码阶段的计算瓶颈,AWS 在 Amazon SageMaker AI 上通过 Swap-AB 转置让专家维度 N=8192 进入 WGMMA 首操作数位,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及更高版本。
AWS 博客介绍 SpaceXAI 的 Grok 4.7 已在 Amazon Bedrock 上线,作者用工具调用智能体在三个需要搜索而非查表的基础设施任务上跑了 72 次评测,67 次答对,xhigh 档 18 次全对,low 档答对 15 次且输出 token 约为 xhigh 的八分之一。
推荐理由:作者在 Amazon Bedrock 上实测 Grok 4.7 四档推理强度,给出准确率与 token 成本的权衡数据,方法可迁移到自建智能体评测。
亚马逊云科技发布基于 Amazon Bedrock AgentCore 的智能体文档处理(IDP)方案,用 8 个专用智能体在两条图工作流中完成文档分类、抽取、校验与自我学习,可自动适配供应商发票等新格式,无需手工模板配置,通常 20 分钟内即可部署多智能体 IDP 系统。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可自动生成 PowerPoint 演示文稿,内部测试中耗时不到 90 秒。
Tamnoon 基于 Amazon Bedrock 构建了智能体式云修复编排器 Tami,可自主调查 CNAPP 等来源的安全发现并评估修复安全性,再生成带护栏和回滚指引的修复方案。该方案在 90 天内将关键云暴露减少超过 90%,且未引发任何生产问题。Tami 由调查、安全评分、修复和代码生成四类专用智能体组成,通过单一 API 按任务调用不同基础模型。
Amazon SageMaker JumpStart 提供了一套可复用的 Python 脚本流程,用于部署模型、用示例提示词测试并测量延迟与单请求生成速率,测试完成后删除端点。
GitHub 为密钥扫描训练了专用的 ModernBERT 分类器,与旧 LLM 流水线相比,用户告警接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本节省超 98%。该方案采用两阶段流水线:先用正则高召回生成候选,再由微调后的 ModernBERT 结合文件路径、变量名和上下文判断是否为真实凭据,从而把占位符、测试样例和校验和等误报过滤掉。
Amazon Bedrock 借助 managed entitlements 简化多账号访问第三方 AI 模型,只需在中心账号订阅一次即可向全组织分发。文章给出两种在 AWS License Manager 中激活 AWS Marketplace 私有定价优惠(MPPO)权益的方式:轻量脚本用于一次性激活,CDK 自动化用于持续的事件驱动处理。
Orca Security 与 AWS 合作在 Amazon Bedrock 上构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。
ShipStation Global 工程团队基于 Amazon Bedrock AgentCore 打造了 Slack 内的 AI IT 服务台 Deckhand,可回答常规 IT 与公司问题、识别报错截图,并创建和更新 Jira Service Management 工单。
GitHub Copilot 提供四种方式让 Copilot 理解项目上下文:仓库级自定义指令(.github/copilot-instructions.md)、按路径生效的指令文件、封装可重复流程的 agent skills(.github/skills)以及定义专用角色的自定义 agent(.github/agents)。
作者借助 HuggingChat 中的 ML Intern,在两天内训练并发布了六个模型,包括柑橘病害识别、Huggy LoRA、相机角度 LoRA、涂鸦替换 LoRA、Pocket Rewriter 和 Agate 4-step 蒸馏模型,总计算成本约 103 美元。
推荐理由:作者用 ML Intern 在两天内做出六个模型,给出了提示词写法、预算控制和基线对比等可复用细节。
GitHub 提出 AI 时代开发者应强化的三项技能:学会指挥 AI 智能体而非只是使用它,不轻信 AI 的首次答案,以及用 AI 节省的时间去解决更大的问题。文中以 GitHub Copilot 内置的 Rubber Duck agent 为例,说明它用第二个模型来审查计划、代码和测试,从而发现首个模型遗漏的问题。
GitHub Copilot 应用中的 canvas(画布扩展)是一种可自定义的双向界面,用户只需在 agent 会话中输入 /create-canvas 并用自然语言描述需求,即可生成看板、发布清单或仪表盘等界面,无需手写代码或设计。canvas 会保存为扩展,可随项目共享或作为个人扩展复用,社区已在 Awesome Copilot 分享发布说明、看板、issue 分诊等现成扩展。
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 的油藏模拟器迁移到 C++,该代码库没有测试套件也没有集中文档。团队先搭建数值对齐测试框架,用 Skill.md 引导智能体导出 Fortran 状态快照并在 C++ 侧校验,再用自定义解析器生成调用树、由 Vibe CLI 启动上百个智能体结合 Mistral OCR 补全文档。
推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,其中先建数值对齐测试再迁移的做法可迁移到其他遗留系统改造。