编者注：本文是洞悉 Omniverse 系列文章。“洞悉 Omniverse”重点介绍开发者、3D 从业者与企业如何使用 OpenUSD 以及 NVIDIA Omniverse 的最新进展深入改变他们的工作流。

开放生态系统为何重要

今年 7 月，NVIDIA 与 200 多家公司和组织共同签署了《开放权重与美国 AI 领导地位》的公开信。

这封公开信指出，衡量 AI 领导力的标准并不是任何单一的前沿模型，而是取决于开放生态系统是否覆盖到每个行业。

任何人都可以下载、检查、修改并在自己的基础设施上运行开放模型，这使上述愿景成为可能。

这一点在物理 AI 领域至关重要，因为该领域每一次部署都是一个专业化问题。

世界模型是物理 AI 的基础

物理 AI 要理解和预测结果，而不仅仅是表象。

为了实现这一点，世界模型需要学习物理环境的行为方式、接下来可能发生的情况，以及哪些后续行动是合理的。

它们能够生成物理基础世界和动作数据，模拟未来状态，并为团队提供一个其可以根据机器人、智能汽车或视觉 AI 系统进行专业化的基础。

开放世界模型已被用于生成训练数据、测试策略和专业化的物理 AI 系统。

NVIDIA Cosmos 3 将这些功能整合到一个开放模型系列中，在基准测试中取得了领先的结果，并在机器人、智能汽车和视觉 AI 领域获得广泛采用。

此外，NVIDIA Omniverse 库作为 NVIDIA Agent Toolkit 的一部分，为构建面向仿真的世界提供预构建功能。

物理 AI 团队可以在现实世界部署之前，使用这些功能来训练、测试和验证系统。

物理 AI 面临的数据挑战

物理 AI 背后的数据很难收集，且在所需规模下成本高昂。

罕见事件和长尾场景尤其难以安全、反复地重现。

世界模型能够实现什么

• 通过从大规模多模态场景中学习物理关系，获取更多有用数据。
• 更具多样性的环境，包括不同的天气、光照、物体和轨迹。
• 更好的基础，以便在此基础上进行构建和适配特定的机器人、车辆、传感器配置、任务或操作环境。

通用模型并未针对特定团队的机器人、传感器或运行环境进行过训练。

要缩小这一差距，需要获取模型权重、获得允许进行适配的许可证，以及后训练所需的工具。

NVIDIA Cosmos 世界基础模型在 Linux 基金会的 OpenMDW 1.1 许可下可用，使团队能够在自己的数据和硬件上对模型进行后训练。

专业化方面，开放性已成为一项切实的技术要求。

模型专业化只是工作流的一部分。团队还需要环境来生成数据、运行仿真和测试行为。

Omniverse 库可帮助开发者构建面向仿真的环境。

同时，OpenUSD 为跨数字孪生、仿真和合成数据生成工作流组合、重用和交换复杂的 3D 数据提供了开放框架。

Omniverse 和 OpenUSD 协同工作，减少了每次资产、传感器配置或环境条件发生变化时可能累积的重复性工作。

Cosmos 3：前沿模型

NVIDIA Cosmos 3 是一套走在前沿的开放式物理 AI 基础全模态模型，底层采用 Mixture-of-Transformers (MoT) 架构。

它把视觉推理、世界生成和动作预测整合到了同一个体系里。

对开发者来说，这意味着可以围绕这一整个模型系列完成一连串关键任务：

• 理解场景
• 生成合成数据
• 模拟未来状态
• 进一步构建专用的世界行动模型

开发者可以将 Cosmos 3 用作视觉语言模型。

它也可以用于预测未来世界状态，并作为生成大规模合成数据的符合物理规律的世界模拟器。

同时，它还可用作世界动作模型的主干网络，而无需为每种功能组装和维护单独的模型。

Cosmos 3 系列组成

• Cosmos 3 Super (64B)：用于高保真世界建模
• Cosmos 3 Nano (16B)：用于高效推理和后训练
• Cosmos 3 Edge (4B)：用于端侧视觉推理和机器人策略部署

Cosmos 3 Edge 足够轻量，可在边缘 GPU 上运行。

它支持在 NVIDIA RTX GPU、NVIDIA DGX 系统以及包括 Jetson Thor 在内的 NVIDIA Jetson 平台上部署。

基准测试表现

在各项基准测试评估中，Cosmos 3 表现领先。

• 在 Artificial Analysis 的开放权重文本生成图像和图像生成视频类别中排名第一
• 在 PAI-Bench 的世界生成类别中排名第一
• 在 Physics-IQ 的图像生成视频类别中排名第一
• 在机器人策略方面，它在 RoboLab 上排名第一

Cosmos 3 Super 也是 VANTAGE-Bench 视觉理解类别排名最高的开放模型。

除了 Cosmos 之外，NVIDIA 物理 AI 软件栈还包括面向机器人领域的 Isaac GR00T、用于智能汽车领域的 Alpamayo 和用于视觉 AI 领域的 Metropolis。

开发者如何将 Cosmos 3 投入使用

各行各业的开发者正在基于 NVIDIA Cosmos 构建物理 AI 应用。

应用行业与企业

• 机器人领域包括斗山机器人、LG 电子、三星电子和 Skild AI
• 智能汽车领域包括理想汽车、小米和 Afari
• 视觉 AI 智能体方面则有 Centific、FogSphere、Linker Vision、Milestone Systems 和 Yuan 赋能工业 AI 和智能空间应用

NVIDIA Cosmos Coalition 把世界模型开发者、AI 开发者以及物理 AI 领域的领先力量汇聚到同一个协作框架中。

各方围绕模型、研究成果和评估方法展开共同建设，也让这项工作的边界进一步被打开。

最近，NVIDIA 又将这一联盟拓展到了日本。

当地机器人与制造业领域的领军企业正计划加入其中，面向工厂、物流、农业、建筑、医疗和交通运输等场景开发开放世界模型。

这些实施和协作共同将开放世界模型作为机器人、智能汽车和视觉 AI 系统中物理 AI 的适应性基础。