由 NVIDIA Cosmos 3 驱动的全新物理 AI 智能体技能，可帮助研究人员加速面向辅助驾驶系统开发的数据生成、仿真、策略训练和评估。

辅助驾驶：AI 智能体自动生成合成场景

在今年的 CVPR 上，NVIDIA 甩出了几项硬核新技能。这些技能专门为物理 AI 打造，目标明确：让智能汽车、机器人和视觉 AI 系统的开发效率再上一个台阶。

过去我们总说“数据是燃料”，但光靠车队实际跑出来的里程，数据量还是不够。NVIDIA 的做法是让 AI 智能体自己学会“变戏法”——基于车队采集的真实数据，自动完成场景重建，然后生成合成场景。

其中几个关键技术值得深挖：

• 神经重建技能：可以把车队数据直接转成可编辑的 3D 场景。这意味着仿真和合成数据生成可以更灵活、更高效。
• 加速渲染器：如 Omniverse NuRec、InstantNuRec、Harmonizer 和 HiGS，提升了重建速度、场景真实度，还能生成新视角。

搭配开源的闭环强化学习框架 NVIDIA AlpaGym，研究人员从环境搭建、策略执行到最终评估，整个流程被打通了。

最重磅的更新是：NVIDIA 推出了一个强大的开放驾驶基础模型——NVIDIA Alpamayo 2 Super。这无疑给自动驾驶研究注入了一剂强心针。

视觉 AI 系统：AI 智能体自己“创造”训练数据

NVIDIA Metropolis 新增的技能，核心思路是让 AI 智能体自己“创造”训练数据。例如，生成包含各种异常情况的合成视觉场景，或者对已有数据进行增强和伪标注。

这些技能能落地，背后靠的是 Cosmos 3 的混合 Transformer 架构。简单说，这个架构先用推理 Transformer 分析观测结果，再把指令输入给生成模块，最终输出一个符合物理规律的虚拟世界。这正是突破数据瓶颈的关键所在。

机器人学习：AI 智能体自动完成繁琐开发步骤

机器人学习领域同样有动作。借助 NVIDIA 的机器人开发技能，研究人员可以让 AI 智能体自动完成场景准备、仿真和机器人学习这些最繁琐的开发步骤。

支撑这一切的是 Omniverse 库、Isaac Sim 和 Isaac Lab 框架。

更值得一提的是，在医疗健康机器人方向，NVIDIA 推出了 Cosmos-H-Surgical-Simulator——通过生成逼真的手术机器人数据，来支持策略训练和评估。这意味着机器人可以在虚拟环境中“练手”，等到真刀真枪上阵时，已经具备了相当扎实的经验。

物理 AI 研究基础设施：数据集下载量突破 1500 万次

NVIDIA 还在持续扩展物理 AI 的研究基础设施，尤其是在数据集方面下了重注。目前，NVIDIA 物理 AI 数据集在 Hugging Face 上的下载量已经突破了 1500 万次。其中 Isaac GR00T X Embodiment Sim 甚至成了下载量最高的机器人数据集之一。

这次新发布的数据集包括：

• GRAIL：包含大约 50 小时的人形机器人交互数据。
• 六个合成视频数据集：分别用于机器人、物理、数字人、辅助驾驶、仓库安全以及空间推理等领域的 Cosmos 3 训练。

对于研究社区来说，这些资源无疑是宝贵的“弹药”。

《夸克》非常好用的免费AI浏览器

下载APP查看