今天聊一个刚结项的项目——人员绩效考评的AI落地。

起点是运营部门换了新领导，新官上任，想重建绩效评估体系作为开局。

团队对“工作量”理解不一

做完内部调研，发现团队对“工作量”的理解各说各话：

• 有人拿订单量说事
• 有人搬出异常单的处理质量
• 还有人直接翻了三天聊天记录，证明大量时间花在了确认、催办和补资料上

系统确实记录了订单状态，系统外的工作却几乎没留下任何痕迹。

新领导希望借这次调整，把三件事一起办了：

• 看清运营人员的工作量
• 用数据驱动绩效评价
• 再借助AI推动流程透明化和组织优化

一个典型样本：系统记录不全

举个例子，一位运营同事从系统里调出一张订单。系统显示她从打开到确认处理完毕只用了两分钟。但翻看聊天记录，过去三天她天天催销售补材料，去外部平台查了五次状态，还给客户打了好几次电话解释要求。

这张单子成了项目的典型样本。它暴露了考评中最核心的难点：系统能记录订单状态，却记录不了完整的工作量。绩效如果只看系统内的动作，大量推动订单前进的工作就会被漏掉。

标准单与异常单不可混为一谈

另一个问题也被反复提及：标准单和异常单混在一起时，订单数量会严重误导管理判断。

处理一百张标准单和处理三十张异常单，背后的精力消耗完全不是一个量级。新领导要推新的绩效体系，这两个问题绕不开。团队不会接受一套只盯着订单数量的评价方式。

AI赋能从打数据标签开始

如果按照常规思路，我们可以通过给不同难度的任务定义标准工时、加权平均来做绩效打分——这其实是一个标准的流程挖掘项目。但AI在这里做了些更有价值的事。

场景一：异常原因识别

每个订单沟通群里都有大量信息。过去全靠运营人员人工沟通和经验判断来推进订单，这些信息从不纳入考评体系。

我们把AI助手接入了订单沟通场景，在授权范围内读取订单相关的沟通内容，自动对异常原因进行识别和打标——比如客户资料问题、外部平台问题、供应商反馈问题等等。分类结果汇入管理看板，帮助运营经理实时观察异常订单情况，进而预警和跟进。

场景二：订单复杂度识别

AI不直接评价人，而是基于订单的背景信息和细节给出复杂度建议。工作量评估从死规则变成了智能辅助判断。

AI记录所有订单的结构和实际情况，给订单公平打分，而不是给人打分。这样一来，一线人员的接受度也高了很多。

一个问题，被归类成了三个原因

上线测试阶段，客户用的是内部集采的大模型。原本担心老模型能力上限会出问题，结果文本归类的效果完全能支撑项目预期。但项目卡在了一个意料之外的地方——业务口径。

测试样本数据时，同一张订单被分成了三个不同的错误原因：

• 运营人员觉得是客户资料问题，因为客户一开始就没给完整附件
• 主管认为是前端录入问题，因为销售根据经验本该知道需要这些文件，但提交时没检查附件完整性
• 流程负责人则认定是规则问题，因为系统在提交前没有设置强校验

三个人讨论同一张订单，用了三套业务语言、三个不同专业领域的归因方式。

统一口径：标签定义标准化

团队先停下来整理标签。我们没有基于所谓的“最佳实践”来定义异常分类，而是请运营主管和一线人员一起定口径。每个标签都写清楚定义，配一个实际样例。容易混淆的地方单独拿出来讨论。

最后固化下来明确的边界：

• 客户没提供资料，归客户资料问题
• 客户已经提供但前端录入遗漏，归前端录入问题
• 系统没设置必填或校验规则，归流程规则问题

这些边界被固化进了AI harness体系，变成标签定义、样本规则和复核依据。

规则定清楚之后，AI的分类稳定了很多。业务执行人员知道了评判规则，也明白了后续该怎么完成工作。

第一份答卷不是绩效考评

有意思的是，项目落地跑起来之后，最先产出价值的并不是绩效考评结果，而是运营流程执行的具体情况。

新领导发现：

• 订单处理数量不高的员工，实际上处理复杂单的占比极高
• 某些反复出现的异常也露出了真正的来源——67%来自前端资料规则不清，导致运营人员不得不反复补救

这些发现直接把讨论从“谁更慢”带到了“流程哪里让人慢”“为什么慢”。主管不再只拿订单数量去比人，而是开始看标准单、异常单和复杂单的构成。运营人员过去说不清的那些工作，终于有了进入管理视野的机会。二期已经在讨论复杂单场景中的AI赋能机会了。

AI转型最难的是下场干脏活

一期项目结束，有些新感悟。企业真正缺少的已经不是模型能力了。AI要想在企业里生根发芽，有大量的脏活累活和基础工作要做。

技术层面：工程架构是关键

从技术层面看，模型能力本身不再是主要问题。真正影响效果的，是模型外面的harness工程架构：

• 知识库包含哪些规则
• 标签怎么定义
• 样本怎么校准
• 结果怎么复核
• 错误怎么回流
• 知识库能不能自动迭代优化

业务层面：模糊空间必须被定义清楚

从业务层面看，运营工作到底由哪些动作组成，哪些动作发生在系统外，哪些异常属于个人处理范围，哪些异常应该回到流程规则里解决——这些问题如果业务定义不清楚，AI输出的结果就会带着一种危险的“客观感”。

模型可以识别文本、归类异常、给出建议，它能胜任企业已经定义清楚的东西。但反过来，模型给出的答案业务必须能看懂，结果必须能追溯，错误必须能回到下一轮校准里。

AI落地的过程中，业务中的模糊空间会被无限挤压。这需要领导层对业务有足够清晰准确的判断和决策力——连我们自己都不知道该怎么做的事情，不该期待AI能做得更好。