先说几个核心判断。这篇论文探讨的，是在企业文档环境里做问答。它没有停留在理论层面，而是实打实地分享了如何利用大语言模型（LLM）和检索增强生成（RAG）框架，构建一个真正可用的应用。

作者的思路很有意思：他们自己搞了一套自定义的树形结构，用来表达组织内部的实体层级关系。然后把这个结构和微调过的开源LLM结合在一起。实验结果证实，这种“组合拳”比单纯的RAG或者纯粹的微调方案效果更好。

论文最后总结了一堆在实际开发中摸爬滚打出来的经验，这部分尤其值得一看。

论文方法

方法描述

面对组织内部的信息查询难题，论文分别尝试了三条路：常规的基于检索的生成（RAG）、利用知识图谱（KG），以及用特定领域的数据做微调（Finetuning）。

RAG的思路很直接——先去文档库里检索和用户问题相关的片段，把这些片段作为“参考资料”喂给预训练语言模型。模型再根据这些上下文生成答案。

KG方法则更进一步：它把组织内部的结构化知识图谱也拉进来，当作增强上下文信息的手段。

微调方法，就是在预训练的通用语言模型基础上，用目标领域的数据进行针对性训练，让它更“懂行”。

方法改进

在RAG基础上，论文提出了一个升级版——Tree-RAG（T-RAG）。它的创新之处在于把树形结构的优点和RAG结合起来。

具体怎么操作呢？T-RAG的玩法如下：先用RAG从文档库里把相关段落捞出来，作为上下文喂给语言模型。与此同时，再把组织内部的实体树也塞进去，作为额外的上下文信息。特别是在用户问的问题里包含组织内部的具体实体时，这个实体树就能起到关键作用，大大提升回答的准确性。

解决的问题

这篇论文要解决的核心问题很现实——怎么让语言模型在组织内部的信息查询任务上，做到又快又准。

传统的检索式问答系统，效率是上去了，但答案质量往往一言难尽，用户根本不会买账。相比之下，预训练语言模型凭借强大的泛化能力成了新希望。但问题在于，这类模型通常需要海量数据才能发挥最佳性能，而现实情况是，能用来微调的领域特定数据非常有限。

论文提出的三种方法，本质上都是在回答同一个问题：在数据不够用的情况下，怎么才能把语言模型的性能再往上提一提？

论文实验

为了验证这套方案的可行性，作者做了一系列对比实验，结果很能说明问题。

1. 首先，把基于预训练语言模型的问答系统，与传统的基于规则的问答系统、基于检索的问答系统放在一起PK。实验用了三组问题集，分别测试不同系统，统计正确率。结果很清楚：预训练语言模型构建的系统，在准确率上明显占优。

2. 其次，针对同一个预训练语言模型，测试了不同的微调策略。实验基于一个由多个文档构成的知识库和一份预先定义好的问题集，比较了三种微调策略的效果。结论是：不同的微调策略，确实会带来表现上的差异。

3. 最后，针对同一个预训练语言模型，对比了不同的实体树结构。同样用多文档知识库加上预定义问题集，测试了两种不同的实体树结构。实验结果指向关键结论：引入实体树结构，可以显著提高模型回答的准确性。

整体看下来，论文通过这一系列对比实验，不仅证明了基于预训练语言模型构建问答系统的有效性，也给出了一些具体的优化方向，比如如何选择微调策略以及如何设计实体树结构。

《夸克》非常好用的免费AI浏览器

下载APP查看