HoloAgent-0：让机器人拥有3D空间记忆的统一Agent框架

HoloAgent-0的目标很简单：把LLM Agent在数字世界那套闭环执行能力，搬到真实的机器人身上。

数字Agent可以随手读取数据、调用工具、修改系统状态。但机器人不行——它得靠传感器“看见”世界，用执行器“改变”世界。整个过程都伴随着感知不完整、执行结果不确定、技能调用复杂这些棘手问题。

为了解决这个难题，HoloAgent-0以Embodied AgentOS为核心，把自然语言指令转化成可执行的任务流程——业内叫“技能图”。然后，把交互、导航、运动、操作这些机器人技能都纳入统一调度。

运行时，系统会实时接收反馈，确认任务结果、处理失败、必要时重规划。此外，受Agent Harness里持久化记忆机制的启发，系统引入了3D时空记忆。它把空间状态、任务进展和执行历史全都关联起来，支撑真实环境下的长程闭环执行。

这套系统已经部署在多款人形机器人和轮式双臂移动平台上。在长程导览、跨机器人协作、移动操作等场景中，系统验证了闭环执行能力。这可以算是具身Agent向物理世界迈出的可行一步。

更多机器人演示、技术细节和代码更新请见项目主页与相关论文。

• GitHub代码：https://github.com/HorizonRobotics/HoloAgent
• 项目主页：https://horizonrobotics.github.io/robot_lab/holoagent
• 论文链接：https://arxiv.org/abs/2606.23565

概述

让Agent走入物理世界

机器人要在物理世界里站住脚，不能指望一次性语言规划，也不能简单地把导航、操作、运动模块串起来就行。真实机器人必须用传感器感知世界、用执行器改变世界——这天然就带来不确定性。

感知可能不完整，执行可能有偏差，复杂技能也可能失败或只搞定了半截活儿。

HoloAgent-0的核心思路其实很直接：给机器人建一套系统级的执行抽象——让物理技能像软件工具一样被统一调用，同时让每个技能在执行过程中持续反馈进展、异常状态和可能的恢复办法。

基于这套抽象，机器人可以在“观察—检索—规划—执行—验证—更新”这个循环里持续跑，而不是一次性地生成计划后就傻等着执行结束。

系统由三层构成：

• Embodied AgentOS：负责任务级闭环执行
• Memory Layer：维护持久化的3D时空记忆
• Skill Layer：封装可调用、带反馈的机器人技能

三层协同工作，就能把真实机器人的导航、操作、运动、感知、交互能力，全组织成一个可部署、可监测、可恢复的具身Agent系统。

总体框架

可闭环执行的具身Agent系统

HoloAgent-0不是为了替代底层机器人模型，而是把已有的机器人能力组织成一个可部署、可监测、可恢复的系统。

数字世界里的Agent Harness负责连接LLM、工具调用、状态记录和执行反馈，让Agent能在软件环境里持续运行。HoloAgent-0则把这种执行抽象延伸到物理世界，把空间记忆、机器人技能、执行监测和失败恢复都纳入同一个闭环。

用户通过语音或文字下达任务后，AgentOS先理解意图，然后从3D时空记忆里检索相关的房间、物体、观察视角和历史执行状态。接着，系统把任务拆解成可执行的技能图，调度不同机器人平台或技能后端来完成任务。

整个执行过程中，HoloAgent-0持续跟踪任务进展和异常状态，根据反馈判断任务是否完成、要不要重试、要不要更新记忆、或者需不需要向用户询问一下。这样一来，机器人就不再只是执行一组静态动作，而是真正在物理世界里持续感知、决策和修正。

HoloAgent-0 框架概览：以Embodied AgentOS为核心，连接3D时空记忆与机器人技能，形成面向真实物理世界的自主执行闭环。

整体设计思路是把数字Agent Harness的运行机制扩展到真实机器人场景，并形成了四个核心原则：

• 闭环优先：把数字Agent Harness里的“执行—反馈—修正”循环，扩展成HoloAgent中的“观察—检索—执行—反馈—修正”的具身执行闭环。
• 记忆为中心：把数字Agent的持久化状态，扩展成HoloAgent的3D时空记忆，让机器人能复用空间状态、任务进展和执行历史，而不是只依赖当前相机画面或短对话。
• 技能接口统一：把软件工具的API调用机制，扩展成机器人技能调用——导航、操作、运动、交互能力全封装成可调用、可反馈的技能。
• 状态可监测：把工具调用和运行状态记录，扩展成机器人执行监测，记录命令、状态、检索结果和技能反馈，支持调试、失败诊断和运行时恢复。

Embodied AgentOS

从语言指令到真实机器人闭环执行

上图展示了HoloAgent执行不同指令时的机器人动作序列，可以看出AgentOS如何把自然语言指令转化成真实的机器人闭环执行流程。

Embodied AgentOS是HoloAgent-0的规划和调度中枢。它的定位不是把LLM当一次性规划器来用，而是在任务执行过程中持续维护状态、检索空间上下文、调度机器人技能，再根据反馈做确认、恢复或重规划。

具体来说，AgentOS先把用户指令解析成可执行的技能图，把语言目标绑定到具体的空间对象——比如某个房间、某个物体、某个观察视角或候选操作区域。接着调度导航、感知、操作、运动和交互等技能来完成任务，同时持续监控执行进展。

如果目标不明确、环境变化、技能执行失败或者结果无法验证，AgentOS会触发用户确认、技能重试或任务重规划。执行结束后，新的观察、任务结果和执行轨迹会写回3D时空记忆，让后续任务可以直接复用更新后的世界状态。

3D时空记忆

让机器人知道“在哪”“干过什么”

真实机器人要长期运行，光理解物理空间不够，还得记住执行过程中发生的一切。HoloAgent-0的3D时空记忆能让机器人知道房间在哪、物体在哪、从哪能看见目标，以及过去执行过哪些任务。

这样，当用户说“带我去找咖啡机”或“去刚才那个机器人那里”，系统就能利用已有记忆快速缩小搜索范围，而不是每次都从当前相机画面重新认识环境。

系统把多模态感知数据组织成结构化的场景图（HMSG），作为机器人的空间记忆持续维护。

为了支持高效检索，系统使用了Hierarchical Multimodal Scene Graph（HMSG），把空间信息组织成“楼层—房间—观察点—物体”的层级结构。这样机器人可以先缩小搜索范围，再去做视觉确认。

任务失败或环境变化后，机器人也只更新受影响的局部记忆，不需要重建整个环境表示。通过3D时空记忆，机器人在长期运行中持续积累、修正、复用世界状态。这种记忆能力不光服务于目标搜索，也为状态验证、失败恢复和长程任务规划提供关键上下文。

HMSG将环境表示为楼层、房间、视图和物体四个层级，通过层级关系与拓扑关系连接不同空间单元。

机器人技能

长程导航、操作与运动协同

HoloAgent基础导航框架流程：先逐步缩小搜索范围，再在线验证目标，信息不足时主动探索、更新空间记忆。

在技能层，HoloAgent-0开发了地平线具身基础导航框架HoloNa vi，帮助机器人根据语言目标、物体目标、探索前沿或目标位置完成导航。它不光是走向固定坐标点，而是结合3D时空记忆、语义检索、视觉确认和主动探索，逐步判断目标可能在哪、目标是否真实存在、以及需不需要继续搜索。

Unknown Scene Exploration｜机器人主动探索未知环境：左上为第三人称视角，左下为占用网格地图与最优前沿点，右侧为原始观测与状态监测结果。

在开放词汇目标导航中，HoloNa vi先把自然语言指令转化成结构化空间查询，在HMSG里检索候选房间、观察视角和物体实例。然后通过语义匹配和视觉验证缩小目标范围，到达候选位置后再确认目标是否存在。

如果现有记忆不足以定位目标，系统会主动探索新的候选区域。导航过程中的新观察、目标验证结果和失败信息都会返回给AgentOS，并写回3D时空记忆，用于后续的重试、恢复或重规划。语音交互技能也接入了AgentOS，让机器人在导览和目标搜索过程中能与用户持续沟通。

Robot Companion｜机器人陪伴式导览：展示机器人与人类自然互动的场景，体现陪伴式导览能力。

为了评估AgentOS闭环对机器人执行能力的提升，我们在仿真和真实场景中都进行了长程导航测试。在HM3D-ObjNa v基准上，HoloAgent-Na v取得了82.6%的SR和42.8%的SPL，超过了FSR-VLN slow-reasoning的80.8%/41.0%和MSGNa v的74.1%/33.4%。这说明AgentOS闭环在提升目标到达成功率的同时，路径效率也保持得不错。

在真实人形机器人导航中，HoloAgent-Na v达到了97.7% Top-1@1m和98.9% Top-5@1m的成功率，验证了系统在真实环境下的长程闭环执行能力。

HM3D-ObjNa v仿真导航基准性能对比：HoloAgent-Na v在成功率和路径效率上均表现更优。

真实机器人导航测试结果：HoloAgent-Na v在真实环境中的长程闭环执行能力得到了验证。

除了导航，HoloAgent-0还接入了地平线具身基础操作模型HoloBrain，把导航和操作能力结合起来，支持长程移动操作任务。对于抓取、放置、开合、递送这些局部操作，AgentOS不直接控制机械臂，而是把HoloBrain的能力封装成可调用、可反馈的操作技能。

遇到复杂任务时，系统先由HoloNa vi把机器人移动到相关区域，再由HoloBrain执行短距离操作，然后通过执行反馈检查任务进展。如果目标缺失、遮挡、不可达或操作失败，AgentOS会触发重新检索、导航重定位、技能重试或更新子计划。

Long-Horizon Mobile Manipulation｜长程导航移动操作：左上为机器人移动操作全流程，右侧为原始观测与状态监测结果。

同时，HoloAgent-0还接入了地平线具身基础小脑模型HoloMotion，把人形机器人的全身运动能力也纳入同一套AgentOS闭环。AgentOS通过高层指令调度机器人行走、转向和动作交互，不需要直接处理底层关节控制。

HoloMotion在执行过程中持续返回运动进度、稳定状态和完成结果，让AgentOS能根据真实执行状态继续调度后续技能，或者在异常情况下触发恢复与重规划。

Prompt Motion Control｜交互式全身控制：左上为机器人动作展示，左下为用户交互过程，右侧为原始观测与状态监测结果。

跨机器人协作

让不同机器人共享记忆、协同执行

HoloAgent-0通过共享记忆和标准化技能接口组织不同机器人本体，实现轻量级的跨机器人协作。一个机器人负责导航、搜索或更新空间记忆，另一个机器人则基于共享目标信息执行交互动作或操作技能。

机器人之间通过同一套3D时空记忆共享观察结果、地图更新和执行状态。AgentOS根据各平台的能力、位置和可用状态分配任务，并通过统一接口跟踪执行进展和异常情况。这样一来，系统不需要为特定机器人组合定制控制器，也能实现跨本体协同执行。

Cross-Robot Coordination｜跨机器人协作执行：一个机器人负责导航、搜索或更新空间线索，另一个基于共享信息执行交互或动作任务。

总结

走向真实世界的具身Agent

HoloAgent-0面向真实机器人部署，构建了一套统一的具身智能体框架，把数字LLM Agent的工具调用、状态反馈和重规划循环扩展到了物理世界。系统依托Embodied AgentOS、3D时空记忆，以及可调用、可反馈、可恢复的机器人技能，把导航、感知、操作、全身运动和跨机器人协作全部组织成可部署、可监测、可恢复的具身执行闭环。

这次发布的HoloAgent-0，在长程导航、跨机器人协作和移动操作等任务中展示了具身Agent的组合执行能力。未来，HoloAgent将继续推动机器人从“能执行单点技能”走向“能在真实环境中长期运行、持续反馈、协同完成任务”的通用具身智能体。