位置:首页 > 新闻资讯 > 无脑使用NLP,第一弹:文摘生成,能直接用来做毕设的呦

无脑使用NLP,第一弹:文摘生成,能直接用来做毕设的呦

时间:2025-07-16  |  作者:  |  阅读:0

文心·行业大模型的核心特色是“行业知识增强”,基于通用数据训练的文心大模型,加上挖掘行业应用场景中,大量存在的行业特色大数据和知识,进一步提升大模型对行业应用的适配性。在能源、金融领域,百度与国家电网、浦发银行联合研发了行业大模型。

无脑使用NLP,第一弹:文摘生成,能直接用来做毕设的呦_wishdown.com

零:文心大模型简介

5月20日,由深度学习技术与应用国家工程研究中心主办、飞桨承办的WAVE SUMMIT 2022深度学习开发者峰会线上举行。百度业界首发的文心·行业大模型成为峰会一大亮点。

lian合国网、浦发首发行业大模型,开启大模型进化新格局

文心·行业大模型的核心特色是“行业知识增强”,基于通用数据训练的文心大模型,加上挖掘行业应用场景中,大量存在的行业特色大数据和知识,进一步提升大模型对行业应用的适配性。在能源、金融领域,百度与国家电网、浦发银行联合研发了行业大模型。

能源电力行业,百度和国网研发了国网-百度·文心大模型。基于通用文心大模型,在海量数据中挖掘了电力行业数据,百度与国网专家们一起,引入电力业务积累的样本数据和特有知识,并且在训练中,结合双方在预训练算法和电力领域业务与算法的经验,设计电力领域实体判别、电力领域文档判别等算法作为预训练任务,让文心大模型深入学习电力专业知识,在国网场景任务应用效果提升。

一:文新大模型室应用——NLP文摘生成

1.1:什么是文摘生成?

自动文摘有两种解决方案:一种是抽取式(Extractive)的,就是从原文中提取一些关键的句子,组合成一篇摘要;另外一种是生成式(Abstractive)的,也是本文重点要讲的内容,这种方式需要计算机通读原文后,在理解整篇文章内容的基础上,使用简短连贯的语言将原文的主要内容表达出来,即会产生原文中没有出现的词和句子。

现阶段,抽取式的摘要目前已经相对成熟,但是抽取质量及内容流畅度都不够理想。随着深度学习的研究,生成式摘要的质量和流畅度都有很大提升,但目前也受到原文本长度过长、抽取内容不佳等限制,生成的摘要与人工摘要相比,还有相当的差距。

1.2:应用方式

1.2.1:使用PaddleNLP进行文摘生成

PaddleNLP中有使用Bart模型进行文摘生成的方式

BART是一种Seq2Seq结构的降噪自编码器,通过增加噪声来破环文本然后重建原文本来训练模型。它使用一个标准的Transformer结构,可以被看作泛化的BERT(由于是双向编码器),GPT(由于是从左到右解码器),和一些其他的预训练模型结构。

但是昨天我在使用Bart的 example时结果出现了一些问题没有搞成,并且你如果NLP基础,完成PaddleNLP中的example还是挺困难的,那么有没有什么比较简单的方式真正的让你一点不了解NLP也能完成文本生成任务呢

1.2.2:使用文心大模型ERNIE 3.0 Zeus 文本生成模型

ERNIE 3.0 Zeus 是全新发布的融合任务相关知识的千亿大模型,该模型大幅刷新各类 NLP 任务最好效果,在各类公开数据集及真实场景上零样本与小样本能力均取得显著提升。当前 API 为开发者提供大模型的探索和体验。

二:使用方式

2.1:获取access_token

access_token是你如果想自己搭建服务如果想去向文心大模型发送请求必须要准备的东西

调用API时必须在URL中带上access_token参数,获取Access Token的流程如下:

2.1.1:获取Access Token

请求URL数据格式

向授权服务地址?https://wenxin.baidu.com/younger/portal/api/oauth/token?发送请求(使用POST),并在URL中带上以下参数:

  • grant_type: 必须参数,固定为client_credentials;
  • client_id: 必须参数,应用的API Key(AK) 从 https://wenxin.baidu.com/younger 调用专区申请;
  • client_secret: 必须参数,应用的Secret Key(SK) 从 https://wenxin.baidu.com/younger 调用专区申请;

其中API Key与Secret Key可以在https://wenxin.baidu.com/younger/apiDetail?id=20006下拉到调用专区进行获取

无脑使用NLP,第一弹:文摘生成,能直接用来做毕设的呦_wishdown.com

将API Key与Secret Key填入对应的位置中,并在终端输入

curl -i -k 'https://wenxin.baidu.com/younger/portal/api/oauth/token?grant_type=client_credentials&client_id={API Key}&client_secret={Secret Key}' -H 'Content-Type:application/x-www-form-urlencoded'登录后复制

成功之后就会获取到access Token

2.2:摘要生成

2.2.1:傻瓜版本

直接把下段代码给copy然后运行就可以了

import requestsurl = ”https://wenxin.baidu.com/younger/portal/api/rest/1.0/ernie/3.0/zeus“payload={ 'access_token': '24.9991a77ac60c6e969e176b776f74b09e.86400000.1653006451543.499f8f33b6821ebbf9ba1fbea525d6ae-6', 'text': '19号,印度一些主流媒体发布消息称,汉语普通话被批准成为巴基斯坦官方语言!消息称,巴基斯坦参议院19号通过将汉语普通话作为官方语言的议案,如果普通话成为巴基斯坦官方语言,中巴关系会进一步深化, 两国人民在中巴经济走廊建设中的沟通也会变得更简单。到底是不是真消息呢?据记者了解,事实上,该决议只是提到鼓励学习中国官方语言,并没有提到汉语普通话要成为巴基斯坦的官方语言。文章标题是:', 'seq_len': 32, 'task_prompt': 'Summarization', 'dataset_prompt': '', 'topk': 1, 'stop_token': '》' }response = requests.request(”POST“, url, data=payload)print(response.text)登录后复制

2.2.2:详细介绍版本

首先必须要注意的是每个账户每日免费请求ERNIE 3.0 Zeus API服务的上限为200条输入,免费请求额度共2000条输入。如果您有更多请求需求,请联系:wenxin-younger@baidu.com

内容说明传输方式https (为提高安全性,强烈推荐https)请求地址https://wenxin.baidu.com/younger/portal/api/rest/1.0/ernie/3.0/zeus字符编码UTF-8响应格式统一采用JSON格式开发语言任意,只要可以向服务发起HTTP请求的均可适用范围任意操作系统,但因不支持跨域不适用于浏览器,请在后端调用接口请求行POST请求QPS限制2平均响应时间生成512需要16.3s,生成256需要8.1s,生成128需要4.1s

也就是说只要我们按照官网给的案例进行提交如果只是初级使用只需要将text中的内容进行修改即可

返回文本样例

{ ”code“: 0, ”msg“: ”success“, ”data“: { ”result“: ”巴基斯坦参议院通过汉语普通话为官方语言议案“ }}登录后复制

这是成功的样例, 下面是一些失败的样例

{”code“:1,”msg“:”access_token is invalid“,”data“:null}{”code“:4004,”msg“:”service backend failed: 'save_infer_model/scale_0.tmp_0'“,”data“:{”result“:”null“}}登录后复制

有的是access_token失效或不对,有的是因为请求太过频繁。

下面时具体的错误码分析

错误码错误描述4001错误描述4002请求参数格式错误,请检查必传参数是否齐全,参数类型等4003text长度超过模型要求的最大值4004API服务内部错误,可能引起原因有请求超时、模型推理错误等

2.2.3:具体API参数

无脑使用NLP,第一弹:文摘生成,能直接用来做毕设的呦_wishdown.com

三:实例

In [39]

import requestsurl = ”https://wenxin.baidu.com/younger/portal/api/rest/1.0/ernie/3.0/zeus“payload={ 'access_token': '24.033a83fc578d4bfbf3f686b5ddde88c6.86400000.1654314522980.c266ed6c0f65dd3106e3c7e3924a2516-3008', 'text': '请给下面这段话写一句摘要:” 19号,印度一些主流媒体发布消息称,汉语普通话被批准成为巴基斯坦官方语言!消息称,巴基斯坦参议院19号通过将汉语普通话作为官方语言的议案,如果普通话成为巴基斯坦官方语言,中巴关系会进一步深化, 两国人民在中巴经济走廊建设中的沟通也会变得更简单。到底是不是真消息呢?据记者了解,事实上,该决议只是提到鼓励学习中国官方语言,并没有提到汉语普通话要成为巴基斯坦的官方语言。“', 'seq_len': 48, 'task_prompt': 'Summarization', 'dataset_prompt': '', 'topk': 1, 'stop_token': '' }response = requests.request(”POST“, url, data=payload)print(response.text)登录后复制

{”code“:0,”msg“:”“,”data“:{”result“:”汉语普通话成巴基斯坦官方语言?“}}登录后复制

福利游戏

相关文章

更多

精选合集

更多

大家都在玩

热门话题

大家都在看

更多