手机正在从传统的信息终端，逐渐转变为用户数字生活中的个人Agent。

这个转变背后的驱动力，是大模型从聊天工具演化为能够理解环境、调用工具并执行任务的智能体。

但看看手机Agent和通用聊天机器人之间的最大差异，其实不在设备形态。而在于它天然处在用户数据、行为轨迹、应用服务和现实情境的交汇点上。

记忆系统：手机Agent的核心基础设施

在这个转变过程中，记忆系统成为手机Agent的核心基础设施。

没有稳定、准确、安全的记忆能力，手机Agent就只能根据用户当前输入进行一次性响应。

这导致它无法真正理解：

• “我之前说过什么”
• “我平时习惯怎么做”
• “这件事和上周发生的事情有什么关系”

这篇内容基于OPPO AI中心余明关于Agentic-RAG的技术分享。系统梳理了手机Agent记忆系统的应用定位、端云架构、检索策略、提示工程、隐私安全、评测体系以及未来演进方向。

手机为什么需要记忆系统

手机已经不再是单纯的通信工具。它已经成为人类记忆、行为和社会关系的重要载体。

用户每天产生大量数字信息：

• 聊天记录、照片、文件、日程
• 收藏、浏览历史、健康数据
• 出行记录、应用使用习惯

这些信息共同构成了一个高度个性化的数字记忆空间。

传统手机不是不能存，问题是数据分散在不同应用里，各有各的存储格式。

想要找某条信息，得先回忆它在哪个App里，再进去翻关键词、翻时间线、翻目录，一层一层往下找。

数据明明存在，但系统没有能力把它们组织起来，更谈不上理解。

记忆系统的核心价值，就在于把这些碎片化数据转化为可以被智能体理解、搜索和使用的长期记忆。

手机存储的不再只是文件，而是用户过去行为与现实生活的数字映射。

AI可以通过这些记忆学习用户习惯、偏好和需求，让同一个功能在不同用户身上呈现不同的服务方式。

记忆能力的三个演进层次

手机Agent的记忆能力，可以分为三个逐步演进的层次：

• 第一层次：全量记忆。系统自动记录用户授权范围内的数字足迹，把照片、文档、日程、健康数据和应用信息整合起来，形成相对完整的个人数字档案。这个阶段的核心目标是解决“记得住”的问题。
• 第二层次：精准搜索。用户不需要知道信息存放在哪个应用，也不用准确记住文件名称。只需要用自然语言描述需求，系统就能从多个数据源中定位相关内容。这个阶段解决的是“找得到”的问题。
• 第三层次：结构化理解。系统通过知识图谱、实体关系、时间线和用户画像，把原本孤立的信息组织成结构化知识网络。AI不仅知道某条信息存在，还能理解人物、地点、事件、时间和用户行为之间的关系。这个阶段解决的是“理解记忆”的问题。

手机上的AI搜索并不是传统搜索框的简单升级。它是贯穿设置、文档、图片、记忆、健康和个性化服务的统一入口。

记忆搜索面临的核心工程挑战

手机中的数据来源极其复杂。

系统数据、应用数据、用户文件、照片、截图、录音、健康指标和对话记录，往往具有不同的数据格式、权限模型和更新机制。

有的数据字段清晰，比如日程的开始时间、结束时间和地点。有的数据则是非结构化文本。照片和视频还需要视觉模型提取语义信息。

手机Agent对响应速度的要求，远高于传统离线分析系统。

用户通过语音或自然语言发起请求后，希望尽快看到首字响应。

如果系统需要依次完成意图识别、端侧检索、云端召回、重排序和大模型生成，任何环节的延迟都可能被用户明显感知。

Agentic-RAG 的整体架构设计

OPPO的Agentic-RAG架构，可以理解为端侧记忆基础设施与云侧智能编排系统的组合。

• 端侧：负责数据接入、隐私保护、轻量索引和快速召回。
• 云侧：负责复杂意图识别、精排、联网搜索、个性化推理和跨服务协同。

端侧架构：解决召回率、时延与功耗

端侧架构首先要解决召回率、响应时延、功耗、索引时效性、结构化信息和多模态数据处理等问题。

在检索模型方面，系统采用轻量级向量模型与倒排索引融合的架构。

向量检索负责发现语义相近但关键词不同的内容。

倒排索引则负责精确匹配名称、数字、时间和专有词。

两种检索方式互相补充，可以在维持较高召回率的同时，减少对大型模型的依赖。

在召回阶段，系统还可以并行执行多种检索策略。比如，同时执行向量召回、关键词召回、结构化字段查询和规则召回，再对结果进行合并与去重。

并行化能缩短整体召回时间，也能避免单一策略失效导致结果缺失。

云侧架构：强调理解与决策

云侧Agentic-RAG需要重点解决召准率、意图准确性、生成格式、系统灵活性和扩展性。相比端侧的快速召回，云侧更强调理解与决策。

用户请求进入系统后，首先由轻量级意图分类器进行预判。

分类器不需要生成复杂文本，只需要判断请求可能属于以下类别：

• 日程、设置、图片
• 文档、记忆、健康
• 联网搜索、工具调用

相比直接让大模型从所有能力中自由选择，轻量级分类器成本更低、延迟更小，输出也更稳定。

Agentic-RAG的召回结果并不能直接交给大模型。

手机记忆数据通常数量庞大，不同结果之间存在时间、位置、来源和语义差异。系统需要构建多维过滤体系，对候选内容进行动态加权。

语义相关性是基础维度。系统综合向量相似度、关键词匹配、查询意图和业务规则，判断候选内容是否真正回答了用户问题。初步召回之后，还可以使用轻量级重排序模型对候选结果进行精排。

仅依赖用户本地数据并不能覆盖全部需求。因此云侧还需要提供联网搜索、个性化引擎、A2A协议和工具调用接口。

当系统识别到联网意图时，可以通过搜索引擎补充实时公共信息。

这里的关键是：根据问题类型判断是否需要外部信息。

• 个人记忆问题应优先使用用户数据。
• 实时新闻、天气、政策和公共知识则更适合联网检索。

低时延优化：贯穿全链路

手机Agent的效果不仅取决于答案是否准确，还取决于用户等待答案的时间。

一个结果正确但需要等待十几秒的系统，很难成为用户高频使用的手机入口。

低时延优化需要贯穿整个链路。首先可以通过界面交互优化改善等待体感，比如及时展示处理中状态、检索进度或流式首字结果。这种方式虽然不直接减少计算时间，但可以降低用户对等待的感知。

分层提示工程与动态上下文构建

在Agentic-RAG系统中，Prompt不应被看作一段固定文本。它应该被设计成可以组合、裁剪和动态注入的工程化结构。

一个完整的提示体系通常包括：

• 角色信息：定义模型在当前任务中的职责。
• 任务引导：明确需要完成的目标。
• 上下文：提供检索结果和用户状态。
• 约束条件：规定哪些内容可以使用、哪些行为不能执行。
• 输出格式：保证下游程序能够稳定解析。

系统可以根据轻量级意图分类结果，提前匹配对应的垂直领域Prompt。

日程、设置、健康、图片搜索和文档问答对模型的要求不同，不适合共享完全相同的提示模板。

检索得到的内容同样需要进行提示化处理。系统可以在每段Reference前加入时间、来源、数据类型、可信度和使用条件，让大模型更准确地理解召回内容。

内容安全与隐私保护

手机记忆系统的内容安全不能只检查最终答案。它应该覆盖三个关键阶段：

• 用户输入（Query阶段）
• 检索内容（Reference阶段）
• 模型输出（Output阶段）

Query阶段：阻断越权请求

在Query阶段，系统需要识别敏感词、违规意图和越权请求。

如果用户请求访问不具备权限的数据，或者试图诱导系统绕过安全策略，应在检索之前就进行阻断。

Reference阶段：扫描并过滤召回内容

在Reference阶段，系统需要对召回内容进行安全扫描。

记忆库中的信息可能来自不同应用和不同时间，其中可能包含涉密、违规、低质量或不适合当前场景展示的内容。

即使用户Query本身正常，也不能保证所有候选内容都可以直接进入模型上下文。

对记忆数据进行预先审查，可以在数据进入索引或检索系统前建立基础安全标签。在实时召回阶段，还可以结合当前请求进行二次判断。

Output阶段：校验生成结果

在Output阶段，模型生成结果需要经过规则校验和风险检测。

系统应检查是否：

• 泄露敏感信息
• 违反权限边界
• 包含不安全建议
• 输出格式是否符合要求

对于高风险任务，甚至可以采用模型审核与规则审核相结合的方式。

端侧隐私沙箱：数据本地化处理

对于高度敏感的数据，可以通过端侧隐私沙箱实现数据和计算本地化。数据不离开设备，索引和推理也在端侧完成。

虽然端侧模型能力有限，但在联系方式查询、设置搜索和本地文件检索等场景中，通常能够满足基本需求。

Agentic-RAG的评测不能只看最终答案，而需要将完整链路拆分为多个层级。

只有明确问题出现在召回、过滤、精排、生成还是工具调用阶段，团队才能有效优化。

未来演进：从检索辅助走向主动规划

当前多数RAG系统仍然是被动式的。用户提出问题，系统检索信息，然后生成答案。

未来手机Agent需要从“检索辅助”进一步演化为“主动规划”。

主动任务规划意味着系统能够根据用户行为记忆预测潜在需求。例如：

• 系统发现用户每周一上午都会创建相似会议，可以提前准备日程。
• 用户频繁在夜间开启护眼模式，系统可以主动建议自动化设置。
• 用户即将出发参加会议，系统可以提前汇总地点、路线和相关材料。

未来记忆系统的个性化不应停留在简单标签层面。仅仅知道用户喜欢某类内容，并不足以支撑真正的个人Agent。

系统需要结合长期行为和实时情境，构建动态更新的用户画像。

PersonaX可以作为个性化记忆的基础，将用户的行为习惯、服务偏好、重要关系、时间规律和情境信息组织起来。这个画像并不是静态档案，而是随着用户行为持续变化。

在当前阶段，RAG主要帮助手机Agent找到用户过去的信息。

未来，随着短期记忆、长期记忆、用户画像、工具链和反馈机制逐渐完善，系统将进一步理解用户习惯，预测用户意图，并主动完成复杂任务。

从“用户问，系统答”，到“系统理解用户为什么问”，再到“用户还没有问，系统已经准备好服务”——这可能是手机Agent从智能助手走向个人数字分身的关键演进路径。