物理AI的新时代

通用人形机器人专为快速适应现有的以人类为中心的城市和工业工作空间而构建，用以承担枯燥、重复性或对体力要求高的工作任务。这些机器人正在从工厂车间走向医疗健康机构，通过自动化帮助人类工作，缓解劳动力短缺问题。

但是，构建人形机器人涉及多层复杂性并面临艰巨的工程挑战。这些挑战涵盖模拟人类的感知、自由度、灵巧性、移动性、认知功能和全身协调控制等方面。

这需要加快机器人研究领域和技术的发展，推动人工智能 (AI)、机器学习、基于物理仿真、传感器技术和机电一体化等关键技术的突破。

技术运用-推进人形机器人开发

NVIDIA正在开发加速系统、blueprints、工具、服务、算法和其他机器人技术，以构建符合人类形态规格的通用机器人。

三台计算机解决方案

人形机器人需具备在特定环境中自主感知、规划与行动的能力，这要求其能实时处理海量数据。这需要训练支撑机器人大脑的基础模型，对机器人大脑进行模拟和验证，并最终将优化后的大脑和相关软件部署到实体机器人上。 

这三种 AI 系统为： 

• 一台 NVIDIA AI 超级计算机— NVIDIA DGX™ 搭载 NVIDIA H100 或 B100 处理器—用于训练强大的生成式 AI 模型和机器人基础模型。 

• 一台 NVIDIA OVX™ 计算机，搭载 NVIDIA RTX™GPU，用于合成数据生成、机器学习和仿真测试以及基于 NVIDIA Omniverse™构建的仿真框架，比如 NVIDIA Isaac Sim™and Isaac™Lab。 

• 一台安装在机器人本体上的实时计算机，比如NVIDIA Jetson Thor™— 构建于NVIDIA’s Blackwell架构之上—可以运行低延迟和高吞吐量推理。

NVIDIA Isaac GR00T

GR00T是一个专注于通用机器人基础模型和数据工作流的研究计划和开发平台，可加速人形机器人开发进程。

机器人基础模型

人形机器人需要不同的技能来完成各种任务，传统上需要单独的、昂贵的 AI 模型。机器人基础模型通过基于广泛数据进行训练、开发通用技能来解决这一问题。这使得机器人能够适应不同的任务和环境。

NVIDIA Isaac GR00T N是全球首个用于通用人形机器人推理和技能的开源基础模型。这种跨具身本体模型接受包括语言和图像在内的多模态输入，在不同环境中执行操作任务。GR00T N基于庞大的人形数据集上训练，该数据集由真实捕获的数据、使用NVIDIA Isaac GR00T-Mimic blueprint组件生成的合成数据和互联网级视频数据组成。它可以通过后训练针对特定实施、任务和环境进行调整。

机器人学习和仿真框架

仿真对于开发者来说至关重要，在将人形机器人部署到现实世界中之前，能够在各种物理精确的环境和条件下对其进行训练。

机器人学习和仿真框架，比如NVIDIA Isaac Sim 和 NVIDIA Isaac Lab—基于 Omniverse平台构建 — 实现物理精确仿真，以并行训练和验证多个人形机器人智能体。 

Isaac Lab是一个基于Isaac Sim构建的开源统一机器人学习框架，为机器人策略训练提供高效的学习技术支持。然后，训练后的机器人策略可以在Isaac Sim中进行验证Isaac Sim是一个基于物理的虚拟环境平台，专用于构建、模拟和测试人形机器人参考应用。

GR00T工作流

数据生成和处理

收集大量高质量的真实数据集可能极具挑战性，成本高昂且耗时。基于物理精确仿真生成的合成数据可以加速数据收集，并提供泛化机器人学习模型所需的多样性，从而应对这一挑战。

NVIDIA Isaac GR00T-Dreams blueprint帮助生成大量合成运动，可以教会机器人新的行为以及如何适应不断变化的环境。

开发人员可以先为他们的机器人进行Cosmos Predict 2世界基础模型 (WFM) 的后训练。然后，使用单张图片作为输入，GR00T-Dreams可以帮助生成机器人在新环境中执行新任务的多个视频。之后，该 blueprint 会提取动作 token—这些经过压缩、易于理解的数据片段，用于教导机器人如何执行这些新任务。

GR00T-Dreams blueprint是对Isaac GR00T-Mimic blueprint的补充。GR00T-Mimic使用NVIDIA Omniverse和Cosmos增强现有数据，而GR00T-Dreams则使用 Cosmos生成全新数据。

灵巧操作

人形机器人抓取功能需具备类似人类的灵巧操作技能，能够同时执行粗略抓取和精细操作任务。GR00T-Dexterity是一套基于强化学习的全面模型和策略框架，通过与参考工作流深度结合，可实现这些高级灵巧功能的开发。

移动性

在复杂且动态环境中实现通用导航功能需要进行大量广泛调整。借助GR00T-Mobility 参考工作流，您可以构建一个通用移动工作流，可在不同设置和机器人具身之间实现无缝导航。

全身控制

在人形机器人中实现全身控制具有挑战性，需同时满足稳定操作和强劲运动要求。GR00T-Control通过一整套先进运动规划和控制模型、策略和参考工作流来解决这一问题，从而简化高效控制系统的开发。

通过使用模仿学习和远程操作数据集，GR00T-Control有助于训练强大的全身运动策略，从而使人形机器人能够学习灵巧的操作和运动技能。

基于AI的机器人感知

为了提高态势感知和交互效率，人形机器人需具备长期记忆，对事件、空间、个性化设置和上下文感知做出精确响应。 

GR00T-Perception借助基于 Isaac Sim 和 Isaac ROS构建的强大感知库、基础模型和参考工作流实现这一目标。这些工具集成了视觉语言模型和检索增强内存等先进技术，能提升人形机器人的感知、认知和适应能力。

新一代机器人本机计算平台

机器人硬件对于运行多模态 AI 模型集群也至关重要，这些模型可在不同条件下为人形机器人提供所需的性能、低延迟和功能安全保障。 

基于NVIDIA Blackwell GPU架构的NVIDIA Jetson AGX Thor可提供卓越AI计算性能并搭载新型Transformer引擎。这为边缘计算提供必要的AI超级能力，从而实现新一代人形机器人开发。