从知识管理到智能问答：阿里云产技知识的大模型实践

人工智能技术正在快速重塑企业知识管理的面貌。

如何借助大模型能力，构建一个既高效又智能的知识库问答系统，并进一步提升服务品质和运营效率，已经成为不少企业关注的核心课题。

这次分享，聚焦通义大模型和百炼，看看阿里云如何将自身视为一家企业，结合知识与AI创造价值。

内容主要从四个方面展开：

• 阿里云的知识采集管理实践，先看我们在AI领域的构想和现状。
• 最早也是最成熟的智能应用——智能问答产品，介绍当前产品知识在AI方面的应用情况。
• 很多企业关心的重点：如何产出高质量的知识内容。
• 当内容和效果完善后，如何在集团企业内部广泛运营传播，产生业务价值。

01 阿里云产技知识管理实践

阿里云的产技知识，是其知识体系中最核心的组成部分。

我们的知识管理有几个核心理念：

• 知识管理最终目标是提升业务效率，同时也要对知识本身进行运营。
• 用户既是使用者，也是内容生产者，通过社区化运营来实现共建。
• 知识来源于业务，最终也要服务于业务。

这些理念，是我们做知识管理的出发点。

在AI时代，知识的生产和管理方式必然会发生变化。

我们采用“一加N”的模式，横向拉通整个阿里云不同条线的产品或技术领域。

知识生产则采用“三环”方式：

• 第一环是官方材料，即最正式、质量最高的内容，完全由内容管理方生产。
• 第二环由内容管理方定义框架、规划甚至输出模板，再由各业务方或产线填充内容。
• 第三环则由广大条线部门人员和用户拓展不同内容。

这三个层次，对应不同的内容质量和生产方式。

之所以详细说明，是因为它和我们基于大模型进行内容利用与治理密切相关。

关键问题是：如何把知识管理理念与大模型更好结合。

我们希望利用大模型能力，把知识管理真正落地到业务中，提升效率。

从去年开始，我们基于通义千问和百炼构建了一系列应用。

有些应用纯粹与知识管理相关，有些则直接面向业务。

• 面向产品管理生命周期的AI增强应用
• 面向需求管理提效的AI增强应用
• 售前过程中的AI增强能力

从建设之初，我们就将其规划为一个大框架，称为“产品博士”。

如今，它已经成为我们产品知识的专属模型。

基于这个模型的能力，未来还会不断拓展更多新应用，更好衔接知识与业务。

02 智能问答产品介绍

接下来聊聊智能问答。

它是我们从去年5月开始做的，也是最早落地的应用。

之所以选择智能问答作为第一个切入点，主要有两点原因：

• 第一，它本质上是LLM最直接的应用形态，大家较为熟悉，技术上也相对成熟。
• 第二，我们希望通过智能应用，沉淀出产品专属知识的专属模型能力。

因为在这个过程中，需要大量内容治理工作。

当整个工作完成后，产品知识被打磨好，这部分知识就可以被其他应用复用。

从今年年初发布上线到现在，我们又陆续打造了一些新应用。

它们都源自我们事先做好的产品知识内容。

智能问答包括几个应用场景：

• 基于产品询问相关信息，如功能、优势、特性、原理、场景等。
• 基于场景或功能查找产品，回答“我要做一个某某业务，可以用什么产品或产品组合来满足？”这类问题。

我们打造的这个智能问答应用，定位是专门面向阿里云的产品知识。

它用于回答产品知识各方面的问题。

目标用户是阿里云内部员工，尤其是前线销售队伍。

除了两个主要问答能力外，还整合了一些周边能力：

• 查找产品相关的产品经理
• 查找案例
• 查找解决方案
• 查询产品参数
• 进行产品竞品对比

经过几个月打磨和几轮优化，产品在今年2月推出。

从全年运营情况看，得到了前线核心用户群体的积极反馈。

目前，它是整个公司内使用量最大的智能应用。

流量并非仅靠运营就能取得。

一定要有较好的实际问答效果，才会被用户认可。

效果取决于两个方面：

• 一是模型的能力
• 二是内容的质量

模型能力的两个层次

模型能力可以分为两个层次。

• 第一层是基模。基模的能力和参数规模，对效果有全局性、根本性的影响，非常明显。
• 第二层是基于基模的百炼。对ToB业务来说，必然要通过百炼来调用基模的能力。

百炼提供了Prompt、SFT、RAG等能力。

直接使用这些能力，就能撬动基模的智慧。

我们今天讲的智能问答应用，就是基于百炼的RAG能力，同时内置了系统级Prompt。

内容质量同样决定效果

第二个层面是内容质量。

很多客户初次结合大模型做智能应用时，常常不知道如何处理内容，效果未必能达到预期。

当模型确定后，能持续下功夫的重点，就是内容。

我们的智能应用主要用到三方面的知识内容。

这是我们人为划分的，但对任何企业来说，无论知识形态如何，也都可以类似划分。

• 结构化数据内容：代表一类非常准确客观的数据，直接存在数据库里，最客观、可信，几乎不需要治理，可以直接使用。尤其是在直接问到相关数据时，甚至可以不经过内容生成就直接给出答案。但这类内容的覆盖范围通常不够大。
• 核心知识内容：用于覆盖90%以上询问产品各种知识的情况。我们构建了一批核心知识内容，要求质量必须有保障。这些内容来自过去知识管理过程中沉淀的高质量材料，比如产品知识库、赋能认证材料等。
• 扩展知识内容：用于应对产品周边问题，比如市场洞察报告、客户案例、解决方案资料等，以提高覆盖度。

03 体系化内容设计与标准化内容生产

接下来介绍，我们是如何产出高质量知识内容的。

三个常见误区

第一个误区：手上有什么内容就用什么内容。

这样做通常效果不会好。

因为手上内容往往没有经过规划，多是历史沉淀下来的。

如果直接使用，当问到知识盲区时，就会发现缺乏知识内容，回答效果肯定不好。

所以不能有什么就用什么，正确做法是先做内容规划和策划。

这就像写代码前要先做软件架构设计。

今天我们也要先做内容的架构设计。

围绕智能应用的定位，分析面向的人群和需要提供的问答范围。

再根据这个范围，确定需要哪些知识模块和知识点。

这些知识点共同构成知识地图，这就是内容策划架构的成果物。

有了知识地图指引，自然就知道缺什么。

缺什么，就补什么。

第二个误区：内容越多越好。

企业里的知识内容往往非常庞大，经过十多年沉淀，但很多知识都有生命周期。

有些内容已经很陈旧，却没有被更新。

看似海量的知识库，内容质量其实参差不齐。

一旦把所有内容都用上，效果反而可能变差，因为内容之间会互相影响。

尤其是RAG方式，在生成之前先检索。

每次提问，比如同一个问题问10次，检索召回的内容片段可能都不相同。

如果重复知识点太多，且质量参差不齐，那么每次召回的可能是高质量内容，也可能是低质量内容。

这样一来，问答效果就会大打折扣。

所以，并不是内容量越多越好。

从我们的实践看，尽量不要让冗余内容太多。

如果一定要有冗余，也要保证这些冗余知识都是高质量的。

这样无论检索到哪个片段，结果都不会有问题。

理论上，描述一个知识点，只需要一篇非常好、非常全面的文档就够了。

不需要导入10篇、100篇围绕这个知识点的文档。

第三个误区：内容量太大，内容治理工作量大。

很多用户或企业用户发现效果没达到预期时，不知道如何下手。

看到海量内容，就会头疼。

实际上，内容治理并不需要把所有内容都治理一遍。

那样的工作量肯定无法承受。

正确做法是：

• 先做内容筛选
• 不要一股脑全部导入
• 先选出高质量内容
• 再在此基础上做可控工作量的治理

这就像企业招人，不会到市场上招很多小学生，使劲培养成大学生再用人。

而是培养大学生后，再做一个小规模的上岗培训。

所以一定要有一个内容筛选机制。

内容规划之后，如何处理内容

做了内容规划和设计之后，要对内容进行打标、分类，了解其质量和来源。

这时通常会面临两种情况：

• 一种是缺某种知识内容，需要新增生产和准备。
• 另一种是已有知识内容，但效果不好，说明需要治理。

第一种：新内容生产

最好的方式，是建立标准化生产模式。

我们发现，大模型正好需要这种方式。

具体来说，要让生产过程流程化，让生产内容结构化。

当需要某个内容时，不是直接把任务丢给内容生产者。

而是先梳理内容，把知识点结构化。

必要时，甚至先定义出内容的规范标准。

在此基础上，就可以拉通其他各个团队，进行跨团队的大规模知识生产。

再通过流程化、规范化，保障生产过程。

这样生产出来的内容，质量相对较高。

几乎可以直接与大模型结合，导入后效果也更好。

如果内容生产比较随机、随意，质量往往无法保证。

前面提到一环、二环、三环几种生产方式。

在选择内容时：

• 尽量多用一环内容
• 对二环内容要仔细考察
• 三环内容几乎不用

我们希望直接选出来的，就是“可以上岗的大学生”。

而不是还要投入大量工作，把“小学生”培养成“大学生”。

第二种：已有内容的治理

已有内容的治理，也有几个重点方向。

第一个是ROI比较高的增补。

比如发现一些英文缩写在问答时效果不好，就可以针对一些英文概念术语进行定向增补。

还有一些重点场景或热点问题，也可以进行定向增补。

有些知识问题较复杂，需要跨多个文档才能回答。

对RAG来说，检索召回的片段永远有上限，比如5个或10个。

如果答案跨多文档，检索时可能找不全。

这时可以人工定义一些high level的知识内容框架。

通过这个框架，更好整合跨多文档的内容，有利于检索召回。

对于复杂表格中的知识内容，也可以根据需要进行总结或简化加工。

这样更有利于解析表格内容。

知识内容经过生产和治理后，再导入到百炼。

这个过程是迭代进行的。

但建议在没有产生较好效果之前，不要直接推送给用户。

因为一旦效果不好，会影响用户心智。

一般来说，发布前一定要进行多个迭代。

直到达到预期效果后，再正式发布。

这个过程也涉及对知识内容迭代和优化的管理。

知识库与百炼如何整合

左手是企业知识库，右手是百炼和通义千问。

如何将知识库内容与基模、百炼整合？

我们通过工程化能力，构建了一个逻辑性的数据管理平台。

这个平台可以带来几项便利：

• 企业知识库中有大量PPT文件，直接解析效果可能受损，我们可以自动进行格式转换，比如转成PDF。
• 能够关联更多内容源和知识库，明确知识内容的来源。
• 当原件更新时，也能自动更新。

这里有一点非常重要：

不建议将知识内容从原件上复制粘贴出来再治理。

因为一旦原件变更，我们可能不知道，知识就会分叉，后续会很难管理。

应尽量在原件上进行内容治理和提升。

效果评测与Badcase分析

有了知识内容导入，并与百炼结合后，在查看效果之前，需要先进行基准评测。

也就是说，要先有一个基准评测集。

怎么构建这个评测集？

• 最好能有非常准确、高质量的客观数据。比如阿里云内部有一套经过上万人验证的试题集。
• 尽量收集来自真实用户的提问，到核心用户群中收集客户询问产品知识的实际问题，并将这些真实问题纳入评测集。

这样，才能更准确地判断效果。

在迭代打造效果的过程中，要针对Badcase做好分析。

所有改善效果背后的关键问题，都包含在Badcase中。

比如有1000个用例问题，跑完后发现有100个Badcase。

这时不一定要一个一个解决，那样通常效率低、效果也不好。

更好的方法是先分类，至少分出TOP3。

分类后的TOP3，一定代表了问题的主要部分。

解决一个问题，往往就等于解决了一类问题。

现在产品博士的界面上，已经提供了用户互动方式。

用户可以点赞，也可以点踩。

当用户发现问答效果不好时，可以通过点踩把问题传到后台。

每天都会有人针对这些数据进行分析，从而持续提升效果。

此外，我们还会对用户进行分析：

• 有些用户发布后一直没用过，也就是缺席用户，会对他们做访谈调查。
• 有些用户使用一个月后不再使用，也就是离席用户，也会进行访谈和调研。

通过这些行动，共同提升内容质量。

04 通过知识问答运营产生业务价值

最后介绍一下，如何通过知识问答运营产生业务价值。

很多企业客户都是大中型集团企业，内容知识分散，运营范围也很广。

阿里云也是集团企业，所以这个问题非常典型。

先看运营数据

产品从今年2月发布到现在，已经运行了大半年。

发布时就达到了这样的问答质量：

• 问题平均回答率95%以上
• 回答采纳率90%以上

也就是说，在拒实率较低的情况下，正确率依然能做得很高。

正是有了这样的效果基础，后续运营才有支撑，才会有今天的用户反馈。

现在我们的核心用户群大概几千人。

8月份时，使用率已经达到73%以上，月问题回答数超过15万。

最核心的使用场景

经过分析，主要有几个最核心的使用场景：

• 第一是需要快速作答的场景。比如在客户现场交流时，客户临时提出问题，需要快速回答，没有时间线下查资料。这在电销客服中非常常见。
• 第二是客户问到非常复杂的问题，自己解决不了，需要请教专家或查阅大量文档，这时可以直接问智能问答。
• 第三是非常细致的问题，比如产品如何使用，不需要再去官网查找。

这些场景使用最频繁。

其中两类价值尤其突出：

• 快速应答客户
• 帮助洞察商机

举个例子，现在每月有4000多个提问，都是关于辅助场景下产品推荐的。

比如：“我们要做一个两地三中心的容灾方案，请问可以用什么产品？”

这类问题能够帮助我们洞察商机。

此外，它还有一些辅助作用。

• 第一个是带来写作能力，帮助业务提效。每月有500多个提问，直接要求“请帮我写一段关于xx产品的介绍，我的应用场景是面向客户交流”。
• 第二个是帮助改进产品。结合每月15万以上的问答数据，按行业、场景、产品等维度分析，能发现很多关于产品的洞察。

这些洞察至少可以帮助扩充产品资料、提升产品资料质量。

同时，也能连带提升产品的其他能力。

如何做运营推广

我们用大半年时间，把提问量做到了15倍，月提问人数做到10倍。

很多人第一反应，是直接面向内部员工和核心用户群体做运营。

但这样做，效果不一定最好。

所以我们采用ToB+ToC的方式。

我们希望“产品博士”这个智能应用能够给业务提效。

而业务的开展，是以组织方式牵动的。

因此，运营对象首先是组织和团队，而不是个体。

我们的做法是：

• 联合业务方和用户群体的团队组织共同运营
• 先确定目标用户和优先级
• 把他们拉进来一起共建、一起发布

在没有得到用户真正认可的效果之前，不会发布。

一旦联合发布，效果一定达标。

同时，这种发布不能只是代表我们在发布。

更重要的是，让用户自己在做发布。

当用户团队在自己内部消化和使用时，运营效果会非常好。

有了这个基础后，就可以全面铺开，利用企业内部各种渠道进行触达和推广。

但仅有触达和推广还不够。

这往往只会带来一个短期波峰，这一周效果很好，下一周流量又下降。

怎么办？

我们发现，很多用户可能还不知道怎么用这个产品，或者了解得还不够。

所以，日常要有节奏、有频率地推送以下内容：

• 第一，如何使用这个产品，让用户清楚功能和操作方法。
• 第二，如何提问。这类大模型应用中，提问的Prompt是撬动智慧的钥匙，提问技巧直接影响回答效果。
• 第三，最佳实践分享，把别人真实的好问法分享出来。
• 第四，回到组织ToB层面，与不同团队衔接，找到面向业务的核心诉求点，联合开展线上线下活动，甚至将产品嵌入到日常业务办理节点中。

这样，整个产品就会自然而然地被使用起来。