MiniCPM-Robot是什么

面壁智能最近开源了一个很有意思的模型系列，叫MiniCPM-Robot。它属于轻量级的具身智能VLA模型，专门为机器人场景设计。

这个系列包含两个核心模型。一个是1.5B参数的MiniCPM-RobotManip，用于通用操作。另一个是0.9B参数的MiniCPM-RobotTrack，负责跟踪导航。配套的还有一套PhyAI推理框架，让整个系统跑得更顺。

模型用了视觉Token压缩和流式上下文记忆两项技术，效果相当不错：机械臂能完成长程精细操作，机器狗可以在室内外进行目标跟踪。更关键的是，它能在弱网环境下实现端侧本地运行，推理延迟低至120ms，在主流评测中已经跻身第一梯队。

MiniCPM-Robot的主要功能

MiniCPM-RobotManip

主要负责控制机械臂完成长程操作任务，比如做三明治这类需要多个步骤的精细活儿。它支持多摄像头输入，还具备上下文记忆能力，能记住当前任务进度和历史动作，不会做着做着就忘了该干什么。

MiniCPM-RobotTrack

让机器狗根据自然语言指令持续跟踪指定目标。无论是单目标跟踪、多人干扰跟踪，还是模糊目标跟踪，它都能应对。而且，在弱网甚至无网环境下，它也能本地运行，不依赖外部连接。

MiniCPM-Robot的技术原理

怎么做到的？关键在于三个核心技术：

视觉 Token 压缩

简单说，就是过滤掉和任务无关的冗余视觉信息。这可以减少单次推理的计算量。这样一来，模型不用在每帧画面上都浪费算力。

流式上下文记忆

传统方法处理长任务时，计算量会随着画面数量暴增。但MiniCPM-Robot可以复用已经处理过的历史信息。新画面只需要做增量计算，大幅降低了计算负担。

自进化数据管线

模型会在仿真和真实环境中主动暴露自己的薄弱环节，收集那些容易出错的场景。然后由专家进行纠偏和闭环训练。这相当于让模型自己发现短板、自己补课。

如何使用MiniCPM-Robot

上手流程倒不复杂，大致分几步：

• 环境准备：先克隆GitHub仓库，安装好依赖。硬件方面，RobotManip需要机械臂，RobotTrack则需要宇树Go2 Edu机器狗。
• 模型加载：从Hugging Face把对应模型权重下载下来，通过PhyAI框架加载。完成后会自动完成量化与算子优化。
• 摄像头接入：RobotManip需要配置腕部相机和主视角相机。RobotTrack直接用机器狗原装摄像头就行。
• 指令输入：输入自然语言指令，比如“跟着前面穿黑衣服的人”或者“做三明治”，模型就能理解。
• 一键启动：运行开源脚本，模型接收视觉和语言输入，输出机器人动作指令并执行。整个过程一气呵成。

MiniCPM-Robot的核心优势

这个模型最大的亮点在于，用极小的参数规模实现了第一梯队性能。数据不会说谎：

• 极小参数，性能不输：1.5B参数在LIBERO、Calvin、RoboTwin2等评测中，表现和π0.5这类更大模型不相上下。在RMBench上下文记忆评测中，得分约53分，远超π0.5的约10分。
• 推理延迟减半：在H100上，单帧决策延迟约120ms，几乎是π0.5（234ms）的一半。这对机器人控制来说，意义重大。
• 纯端侧运行：机器狗本地算力就能稳定保持5Hz以上的跟踪频率，断网后依然能持续工作。这对工业场景来说，是个非常实用的特性。

MiniCPM-Robot的项目地址

• 项目官网：https://github.com/OpenBMB/MiniCPM-Robot
• HuggingFace模型库：
  • https://huggingface.co/openbmb/MiniCPM-RobotManip
  • https://huggingface.co/openbmb/MiniCPM-RobotTrack

MiniCPM-Robot的同类竞品对比

拿它和同类模型π0.5对比一下，差距就一目了然了：

从数据来看，MiniCPM-RobotManip在参数更少、延迟更低的前提下，性能反而更强。尤其是在上下文记忆这个关键维度上，优势非常明显。

MiniCPM-Robot的应用场景

这个模型的应用场景非常广泛，理论上可以覆盖大多数需要机器人长程操作的场景：

• 餐饮备餐：双臂机械臂按指令完成取面包、夹生菜火腿鸡蛋等长程三明治制作任务。自动化程度高，效率也高。
• 展厅导览：机器人在无网环境下，基于本地知识库完成离线讲解、自由问答与路线规划。不需要联网，就能提供智能服务。
• 园区巡检：机器狗识别车辆违停、路面异常与公共设施问题。敏感画面本地处理不上云，确保数据安全。
• 仓储物流：机器人执行货架取放、物料搬运等长程操作。失败时还能自动重试与恢复，降低了人工干预成本。
• 室内外跟随：机器狗根据自然语言指令，在电梯、地下停车场等弱网环境中持续跟踪目标人物。对安保和物流场景来说，非常实用。

《夸克》非常好用的免费AI浏览器

下载APP查看