万小时人类数据训练全球首个全身移动操作隐式模型
时间:2026-07-19 | 作者:318050 | 阅读:0从 Being-H 到 Being-M,一条持续兑现的技术路线
Being-M0.7 背后,是智在无界坚持了好几年的一条技术路线。 这家公司是 **全球最早押注大规模人类视频训练路线的具身智能企业之一**,同时布局通用灵巧操作和通用移动灵巧操作两条模型主线。也是 **国内第一个推出原生具身隐式世界动作模型的团队**。 这个路线的核心判断是:机器人真机演示数据太贵、太稀缺了,不可能像互联网文本和视频那样无限扩大规模。相比之下,人类每天都在用第一人称视角跟物理世界互动。这些海量的行为数据里,藏着关于场景演化、物体动力学和身体协调的丰富先验。与其干等着机器人数据慢慢积累,不如先让模型从人类经验里学习世界是怎么运行的,然后再把这些知识迁移到具体的机器人本体上。 今年 4 月发布的 **Being-H0.7**,已经验证了这个判断在灵巧操作侧是可行的。那个模型把训练数据规模扩展到了 20 万小时人类视频,**在 6 项国际性评测里拿了综合排名全球第一,其中 4 项直接登顶**。还成了第一个覆盖跨本体、跨场景、连续动态、流体、柔性物体、物理规律和上下文推理这七大关键维度的通用具身世界模型。
Being-M0.7 就是这条隐式世界动作模型路线的最新成果。
如果说 Being-H 系列回答的是“手如何操作世界”,那 Being-M0.7 回答的就是“整个身体如何在世界中协调地移动和作业”。人形机器人的移动灵巧操作(loco-manipulation)要求模型同时决定:去哪儿,身体怎么朝向,手脚怎么配合,姿态怎么保持稳定。这是一个在时间维度和身体维度上都高度耦合的问题,也是通用人形机器人绕不开的能力关口。
具体来说,Being-M0.7 是一个隐式世界动作模型。它先在第一人称视频和人体运动数据上做预训练,用的是 **Mixture of Transformers(MoT)** 结构;然后通过动作专家后训练,在多样化全身操作任务的机器人轨迹数据上完成控制落地。
跟很多依赖像素级视频生成的世界模型不同,Being-M0.7 在隐空间里预测未来环境状态,再把它跟紧凑的全身运动表征耦合在一起。像素级预测计算太贵了,大量算力都花在跟控制关系不大的外观细节上。第一人称视角下剧烈的自身运动和视角抖动还会让预测充满噪声。隐空间预测把建模能力集中在语义状态、物体布局和场景演化这些真正跟控制相关的结构上,既保留了世界模型预判未来的本质,又大幅降低了计算开销。
---
物理理解,如何转化为全身行动?
模型到底有没有真正的全身移动操作能力,最终还是得回真实场景里检验。 围绕 Being-M0.7,智在无界公布了四个真机 Demo,覆盖了液体交互、镜像推理、长程任务和遮挡避障这四类极具挑战性的场景。 这些任务共同检验一个问题:**机器人能不能根据对环境和未来变化的预测,持续生成跟当前场景匹配的全身动作?**鱼缸捞鱼
机器人走到水箱前,用手里的网兜去捞水里的玩具鱼。液体没有固定形状,会流动,会对浸入其中的物体产生浮力和阻力。水面折射还会让水下目标的视觉位置发生偏移。机器人必须理解水、渔网和鱼之间的相互作用,在视觉信息被水体扭曲的情况下,协调手臂完成一次针对动态目标的工具化捕捞。这项任务考验的正是未来状态预测、工具使用,以及不确定物体动力学下的动作协调能力。 在捞鱼这个环节,Being-M0.7 在 5 次测试里成功了 3 次。
是 2/5,GR00T-N1.6 是 1/5。
镜像取物
机器人面前有一个盒子,只在背面和侧面开口,里面的物品从机器人自身视角完全看不见,唯一的线索来自前方镜子里的反射。机器人需要根据镜中画面,推断隐藏物体在真实三维空间里的位置,再接近盒子并伸手抓取。这要求模型理解镜子、盒子和物体之间的空间关系,理解镜面反射原理,在部分可观测的条件下,把间接视觉证据转化成可执行的动作。 在与
和 GR00T-N1.6 的真机对比测试中,面对 0.5 米和 1 米两种距离,Being-M0.7 分别在 5 次测试里成功了 3 次和 1 次,总计 4/10;
和 GR00T 的总体成绩都是 1/10。
这个结果说明,在需要间接视觉推理、全身接近和精细抓取的部分可观测任务里,Being-M0.7 表现出了更强的适应能力。
移动置物取物
机器人走到桌前,把一个篮子里的法棍面包挪到另一个篮子,再从篮中拿起花束转身离开。这个任务由多个子任务串联而成,机器人需要在行走、抓取、转移、转身这些行为之间连续切换,并在整个过程中保持对场景的持续理解。它考验的不只是单次抓取成功率,还有长程任务中的状态保持、物体级空间推理,以及移动与灵巧操作之间的全身协同。搬箱避障
机器人抱着箱子往前走,前面突然出现障碍物。它没有完全停下来重新规划,而是调整身体朝向,侧着身子从障碍物之间的狭窄空间穿了过去。搬运物体占据了部分第一人称视野,也改变了机器人的负载和重心。模型需要结合已有的环境信息和实时反馈,判断可通行区域,调整行走方向和全身姿态,同时保持自身平衡和所载物体的稳定。多方向移动、避障和负载感知操作,在这里被统一进了同一个闭环行为里。 这些演示说明,机器人并不是按照固定轨迹开环执行的,而是结合了当前观测、实时反馈以及对未来的预测,持续生成并修正全身动作。 ---MoT 架构与统一运动表征,破解具身数据稀缺难题
支撑上面这些能力的,是 Being-M0.7 在数据和架构层面的一组关键设计。 人形机器人需要通过第一人称视觉信息完成空间感知,也需要输出未来要执行的运动和控制指令。高质量的人体运动数据通常需要靠动作捕捉设备才能获得,而视觉和运动严格对齐的第一人称配对数据,那就更稀缺了。 如果一个模型只能使用同时包含视觉和运动的数据,那可训练数据的规模会受到严重限制。Being-M0.7 要解决的问题,就是怎么让配对数据、纯视频数据和纯运动数据都能一起参与训练。 智在无界选择的是 **Vision-Motion MoT(Mixture-of-Transformers,混合 Transformer 多模态架构)**。这个架构为视觉和运动保留了各自的模态专属投影与处理模块,同时通过共享的多模态注意力进行跨模态交互。视觉状态变化和连续运动具有不同的数据分布,不必被强行压入完全相同的参数体系;当两种模态同时存在时,它们又可以在共享上下文中交换信息。 这套设计让模型能够同时兼容三类数据: - 对于视频-运动配对数据,模型联合学习未来环境状态和运动轨迹。 - 对于纯视频数据,只计算视觉分支的训练目标。 - 对于纯运动数据,则只训练运动分支。 不同来源的数据通过同一个训练目标共同约束模型,而不需要分别训练多个彼此割裂的单模态系统。 从概率建模的角度看,**配对数据刻画了视觉与运动之间的联合关系,单模态数据则为这一联合分布提供了边际约束**。即便数据模态不完整,也能被纳入同一个训练框架。
Being-M0.7 训练框架概览。左上:预训练数据由视频—运动配对数据、纯视频数据和纯运动数据共同构成。左下:研究团队构建了一套人类与人形机器人共享的统一运动表征,为训练和推理提供更丰富的监督信号与反馈。右侧:Being-M0.7 的整体模型架构。
基于这个架构,团队构建了超过 **10000 小时** 的混合模态预训练数据,涵盖了人类第一人称视频、第一人称视频与运动的配对数据,以及纯人体运动序列。
Being-M0.7 的数据配方(Data Recipe)。预训练语料来源于多个外部公开数据集,包括 Ego4D、Xperience、Nymeria、Bones-SEED、SnapMoGen、HumanML3D 和 Lafan1;同时还包括内部数据集。
另一个关键设计,是 **人类与人形机器人共享的统一运动表征**。 Being-M0.7 提出了一种统一的动作表示,将来自不同来源的人体运动数据转换为以头部为根节点的统一表示,使其与第一人称视觉天然对齐。通过统一坐标系、消除初始朝向等标准化处理,降低了不同数据集之间的分布差异,提高了跨数据源的一致性。 更进一步,Being-M0.7 采用了一种只保留头部、双手和双脚的紧凑运动表示,在保留关键交互和接触信息的同时,有效弥合了人类与机器人之间的形态差异。这个表示不仅为机器人后训练提供了比动作标签更丰富的监督信号,还能够在推理阶段提供运动层面的反馈,支持全身协同控制。 在预训练阶段,模型通过视觉编码器将图像映射至隐空间,并使用紧凑统一运动表征。模型采用流匹配(Flow Matching)目标进行训练,根据一段短时间的视觉-运动历史和任务指令,联合预测未来状态变化与运动轨迹。 在真机数据采集环节,团队搭建了一套基于 PICO VR 的全身遥操作系统。操作员戴上 PICO 头显、两个脚踝追踪器和两个手持控制器,由 VR 系统实时估计人体姿态,再通过全身运动控制器将其转换为宇树 G1 可执行的 29 自由度全身控制指令。机器人在遥操作执行动作的同时,记录机载 RGB 相机第一人称视角图像、本体感知及运动控制指令,作为 Being-M0.7 在特定任务上的后训练微调数据。
Being-M0.7 真机数据采集系统。操作员通过 VR 设备提供全身运动指令,系统将人体姿态转换为机器人控制命令,并同步采集第一人称图像、本体感知与运动轨迹。
由于模型已经在预训练阶段建立了视觉-运动先验,真机数据不再需要从头教授所有运动规律。它主要承担两项任务:一是把预训练先验落地到人形机器人的具体控制空间;二是学习真实机器人所需的低层控制命令与反馈机制。这个过程由 **轻量级动作专家(Action Expert)** 完成。动作专家读取 Latent WAM 的中间隐藏状态,将其作为高层规划上下文,再结合当前视觉观测、本体感知信息和执行进度,生成机器人可以直接执行的动作块。 推理阶段,模型以较低频率生成未来的视频-运动规划,并将其中间隐藏状态转换为可复用的策略缓存(KV Cache)。统一运动表示不仅融合视觉和本体感知反馈,还利用机器人最新的运动状态对预测的全身运动规划进行校正,使策略能及时响应身体和末端执行器的运动偏差。动作专家则复用当前 KV Cache,以较高频率连续生成动作,并在缓存刷新时无缝融入最新机器人反馈。这个设计实现了 **低频世界规划** 与 **高频动作控制** 的解耦,在保证实时性的同时,让机器人始终受到长期规划和实时反馈的共同引导。 ---可扩展的融合范式,通往更通用的具身智能
Vision-Motion MoT 架构的意义,不只是解决了 Being-M0.7 这一款模型的训练问题,它确立的是一套可以持续扩展的多模态融合范式。 这套范式最直接的改变发生在 **数据层面**。 超过 10,000 小时的混合模态数据,把人形机器人模型训练可用的监督信号来源,从昂贵稀缺的机器人真机演示,扩展到了海量的人类行为数据。数据瓶颈的松动,是任何 Scaling Law 得以成立的前提。 与此同时,Being-M0.7 **也调整了模型学习的顺序**。 在被适配为机器人可执行指令之前,模型先从大规模人类中心数据中学习视觉上下文、未来动态和人形运动学结构。随后,动作专家再把这些预测和运动先验转化为具体机器人的控制命令。换句话说,模型先建立对未来状态和身体运动的预测能力,再学习如何在特定本体上行动。这构成了它与直接从机器人示教中学习动作映射的传统模仿学习方案之间的一项重要差异。传统方案是“看到什么,输出什么动作”,而 Being-M0.7 在动作生成之前,加入了一层对未来状态-运动的联合建模。 更重要的是,这套架构并不要求所有新增数据都具备完整的视觉-运动配对。经过清洗和处理后,单独的人类视频与运动序列都可以被纳入同一个模型。随着数据规模进一步扩大,这套融合范式也有望持续拓展能力边界。 放到整个行业的坐标系里看,Being-M0.7 的发布,或许代表着人形机器人竞争逻辑的一次变化。 过去几年,行业的注意力更多集中在谁的本体更灵活、谁的运动演示更惊艳。随着硬件性能持续提升,模型能不能理解场景、预测变化并生成协调的全身动作,以及背后是否存在可以持续扩大的数据体系,将越来越成为拉开差距的关键。 大语言模型的发展已经证明,可规模化的数据与训练飞轮,往往决定一条技术路线最终能走多远。具身智能正站在相似的临界点上:真机数据无法像互联网语料一样快速增长,机器人还可以从哪里获得持续进化所需的经验? 从 Being-H 到 Being-M,智在无界的判断是:**让机器人先从人类行为中学习世界,再把这些知识转化为真实物理空间中的行动。** 当理解成为行动的前提,通用人形机器人才真正走出了实验室叙事,开始通向千行百业的物理世界。
来源:整理自互联网
免责声明:文中图文均来自网络,如有侵权请联系删除,心愿游戏发布此文仅为传递信息,不代表心愿游戏认同其观点或证实其描述。
相关文章
更多-
- 如何用即梦的动作模仿功能生成视频教程
- 时间:2026-07-25
-
- 资本市场新动作:Hellman & Friedman投资的Hub公司拟首次公开募股筹资30亿美元
- 时间:2026-07-23
-
- Photoshop动作录制新手入门教程
- 时间:2026-07-22
-
- Vidu宠物训练教程提示词如何写动作反馈前后连贯
- 时间:2026-07-21
-
- 蚂蚁灵波从零预训练发布具身原生世界动作模型LingBot-VA2.0
- 时间:2026-07-20
-
- 蚂蚁灵波LingBot-VA 2.0具身原生世界动作模型
- 时间:2026-07-20
-
- 荣耀阿里联手推动下一代终端操作系统Agentic OS落地
- 时间:2026-07-15
-
- 教你魅族手机锁屏手势设置方法步骤详解
- 时间:2026-07-07
精选合集
更多大家都在玩
热门话题
大家都在看
更多-
- iOS 13.5.1电池续航差是电池耗电问题吗
- 时间:2026-07-25
-
- 苹果教育优惠开启 附购买攻略
- 时间:2026-07-25
-
- 苹果iOS 14 beta 2 测试版主要更新内容:除细节变化外修复多项Bug
- 时间:2026-07-25
-
- iOS 14 beta 2 是否解决内存占用过多问题?
- 时间:2026-07-25
-
- 受欢迎的奥特曼游戏有哪些
- 时间:2026-07-25
-
- iOS 14信息应用5大更新变化
- 时间:2026-07-25
-
- iOS 14正式版上线时间公布 官方全新介绍
- 时间:2026-07-25
-
- 最新苹果iOS 14 Beta 2版本更新内容全解析与升级教程
- 时间:2026-07-25