在具身智能领域，“Sim2Real”几乎是个老生常谈的难题。仿真环境搭建成本高得吓人。好不容易训练出来的模型，一迁移到现实世界就开始“水土不服”。性能打折扣是家常便饭。

这几天，李飞飞团队联合英伟达GEAR实验室、佐治亚理工大学等多家机构，终于放出了一个让人眼前一亮的新思路：Real2Sim。

SimFoundry：从真实视频自动生成可交互仿真环境

这套系统叫做“SimFoundry”。简单说，拿来一段真实世界的视频，它就能自动生成一个机器人仿真环境——这个环境不仅能交互，还能直接用来训练和评测。

这和传统那种费时费力的3D场景重建完全是两码事。SimFoundry真正厉害的地方在于：它对真实世界做了一次深度解析和重构，靠自动化技术把仿真环境的搭建门槛狠狠拉低了一大截。

核心创新：构建“数字孪生”与“数字表亲”闭环

SimFoundry的核心创新，在于构建了一个“数字孪生”和“数字表亲”的闭环。

具体是怎么做到的？系统先从视频里提取信息，解析出场景中每个物体的几何结构、物理属性，甚至连交互功能都给你摸得清清楚楚，以此构建出一个高精度的“数字孪生”。

然后有意思的来了——系统能在这个基础上，自动调整物体的外观、形态、场景布局，甚至操作任务，从而生成海量的“数字表亲”。

这意味着，开发者真的只需要一段真实视频，就能收获几乎无限的训练数据。让机器人在仿真环境里一口气完成从策略学习到自动评测的全流程。

实验数据验证：预测能力与真实世界高度吻合

实验数据也证实了这套系统的实力。SimFoundry在仿真中评测出的机器人表现，和真实世界的结果高度吻合，预测能力相当强悍。

更关键的是，靠这些自动生成的数据训练出来的机器人策略，居然能做到“零样本”迁移。在多步操作、双臂协作这类复杂任务里依然表现出色。

团队背景与行业影响

这项研究的署名阵容也相当扎实。既有英伟达GEAR实验室的核心研究者，也有李飞飞团队的成员。

随着SimFoundry的开源和实际应用，具身智能机器人的开发流程很可能迎来一次重大变革——不用再大量依赖昂贵的人工采集和建模，而是靠生成式技术，让机器人更快地从实验室走进真实世界。

《夸克》非常好用的免费AI浏览器

下载APP查看