微软研究院：物理 AI 机器人推理卸载研究与工具链

Two images showing the robot performing the same task of handing over a tape from one robot arm to another. The videos show that while the task succeeds when the inference latency is low, the handover fails with high inference latency as is the case with onboard robot GPUs.

概览

挑战机器人 AI 的一个核心假设：我们的研究表明，仅在板载 GPU 上运行物理 AI 推理会限制机器人性能、电池寿命和可扩展性，而将推理卸载到边缘或云端 GPU 可以带来显著优势。
展示推理卸载的可量化收益：在具有代表性的移动操作工作负载中，卸载提高了任务成功率，支持了更大的 AI 模型，并帮助机器人在动态的真实环境中更有效地响应。
延长机器人运行时间：用轻量级板载硬件和远程推理替代高功耗的板载 AI 计算，可以大幅提升电池寿命，使机器人在两次充电之间运行更长时间。
在 Physical AI Toolchain 中引入新能力：开发者现在可以使用基于 Kubernetes 的工具，将机器人 AI 工作负载容器化、部署并编排到机器人、边缘基础设施和云端，实现分布式推理。

随时可用的物理 AI，让机器人协助用户在制造、家庭和仓库场景中工作，在广泛的任务中具有提升安全性、生产力和辅助能力的巨大潜力。在许多方面，面向物理世界的 AI 代表了 AI 的一个重大前沿。物理 AI 必须在开放且不可预测的环境中运行，与其他机器人和人交互，并适配多种具身形态。实现这一愿景需要在三个维度上取得进展：机器人硬件、具身 AI 模型，以及用于训练和推理的系统基础设施。尽管机器人硬件和 AI 模型近年来发展迅速，我们将关注点转向一个相对较少被涉及的方面：物理 AI 的推理基础设施。要让机器人在物理世界中有效且安全地运行，需要复杂的系统来处理大量分布式推理计算。

如今，物理 AI 的主流做法是在机器人板载配置 GPU，例如将 GPU 连接到机器人上。在这种模式下，机器人的推理将局限于板载 GPU，并为机器人提供执行任务所需的分块和动作序列。虽然更高层的规划可能在云端执行，但任务执行通常仍与机器人本身绑定。我们挑战这一假设。随着物理 AI 模型规模和复杂度的增长，板载计算的限制变得越来越明显。GPU 消耗大量电力，缩短电池寿命，增加成本和重量，并可能限制运行最新一代 AI 模型的能力。

为了更好地理解物理 AI 的系统影响，我们对机器人工作负载进行了首次系统性研究。我们聚焦于移动机器人操作，其典型任务如“检查厨房里是否有垃圾并将其放入垃圾桶”。此类任务涉及规划前往厨房的路径、感知环境以找到垃圾、导航到垃圾处、捡起垃圾，并导航回垃圾桶进行处置。我们评估了三个核心能力上的代表性模型：语义建图与规划、导航和操作，如图 2 所示。

Mobile robotic manipulation involves the components of semantic mapping & planning, manipulation, and safe navigation. The table above lists the state-of-the-art models used for each of these components in our measurement study. — 图 2：用于移动操作不同组件的模型详情。

将物理 AI 推理从机器人中卸载出去，改善了其响应时间和准确率，同时也提升了电池寿命并降低了成本。我们在多种板载、边缘和云端计算配置下评估了这些推理模型。具体测试硬件的详细信息见我们的技术报告。

Diagram showing that offloading Physical AI inference from robots improves performance, battery efficiency, and cost.

任务性能方面的收益：我们的评估表明，卸载推理可以显著提升机器人在建图、规划、导航和操作工作负载中的性能。一些较小的 GPU 无法承载移动操作栈。在内存充足的 GPU 上，建图和规划相比 A100 最多减慢 383%，从而限制了机器人在动态空间中的能力。在较轻量的 GPU 上，导航对障碍物的及时检测下降了 30%。虽然 VLA 模型在较小 GPU 上并未大幅减慢，但减慢幅度仍足以使其准确率下降 50%。换言之，板载 GPU 限制了机器人的性能，而将推理卸载到本地或云端 GPU 则能提升其运行表现，如下方视频所示，并在图表中量化呈现。随着物理 AI 模型的规模和复杂度持续增长，卸载带来的收益可能会更加显著。

图 3a：视频展示了使用板载 GPU 时的交接任务。

图 3b：视频展示了推理被卸载时的交接任务。

Robots can support GPUs such as Jetson Nano and Orin AGX onboard. The graphs above show that the success rate of object handover and navigation are low with onboard GPUs, but increase substantially with beefier GPUs when offloaded such as Jetson Thor and A100. — 图 4：在不同 GPU（部分为板载，部分为卸载）上执行推理时，机械臂相互交接物体的成功率。卸载提高了成功率。

电池寿命方面的收益：除了性能之外，板载 GPU 还会显著消耗机器人的电池寿命。我们通过用 Raspberry Pi-5 板替换板载 GPU 并将所有数据发送到卸载的 GPU，比较了电池寿命的提升。较大的板载 GPU，例如 Jetson Thor，即使对较大的机器人，也会使机器人电池消耗最多增加 160%（即数小时）。

Battery lifetime of the Stretch-3 robot can improve by over 100% when their GPU inference is offloaded out of the robot. — 图 5：卸载 GPU 推理对机器人电池寿命的影响；以上数据针对 Stretch-3 机器人。

上述结果表明，将 GPU 推理从机器人中卸载出去，对于在开放世界中运行大模型并实现长电池寿命至关重要。尽管如此，将推理从机器人中卸载涉及性能、网络延迟和带宽以及可用 GPU 资源之间的复杂权衡。我们相信，我们的测量研究将为物理 AI 推理系统的设计提供参考。

自动卸载工具集

我们构建了一个工具集，用于轻松地将推理从机器人中卸载出去，并在边缘 GPU 和云端之间分配推理。Kubernetes 是一个天然的平台，可提供统一的抽象，将机器人 AI 分布在机器人的计算、边缘 GPU 以及溢出到云端之间。该工具集允许使用声明式规范自动容器化并卸载机器人工作负载，使用 Kubernetes 以智能策略分发物理 AI 容器，并与机器人模拟器、LeRobot 和 ROS2 集成以便于开发。下面的步骤序列展示了如何向该工具集提示要卸载的内容，以及它如何为 GPU 推理创建单独的容器并将其卸载。

Toolset to make offloading of physical AI inference easy by automatically generating a container for GPU inference and deploying it using Kubernetes to the machine with GPU. — 图 6：带有容器化和部署的卸载工具集中的步骤。

Microsoft 最近发布了 Physical AI Toolchain（在新标签页中打开），用于大规模实现物理智能的运营化。Physical AI Toolchain 是一个开源、可投入生产的框架，它将 Microsoft Azure（在新标签页中打开）云服务与 NVIDIA 的（在新标签页中打开）物理 AI 技术栈集成在一起，加速机器人和物理 AI 开发者自动化并扩展跨感知、移动、模仿学习和强化学习流水线的数据整理、增强和评估。我们宣布在 Physical AI Toolchain 中新增一项业界首创的能力，用于机器人的卸载式物理 AI 推理。此版本包含用于卸载 SO-101 和 UR10e 推理的示例项目。下面的视频展示了将面向双臂机器人的 Microsoft Rho 模型的推理卸载到 Jetson Thor GPU，该 GPU 控制 Mobile Aloha 机器人（在新标签页中打开）的动作。

图 7a：卸载 Microsoft Rho 模型的 GPU 推理，控制 Mobile Aloha 机器人与 BusyBox 交互以按下蓝色按钮。

图 7b：卸载 Microsoft Rho 模型的 GPU 推理，控制 Mobile Aloha 机器人与 BusyBox 交互以将旋钮转到位置 4。

查看推理卸载功能，研究源代码，并告诉我们你的反馈。我们已经用许多真实用例进行了测试，并期待听到你的部署体验。

在新标签页中打开

文章面向真实世界物理 AI 机器人的卸载式推理首次出现在 Microsoft Research。