无脑使用NLP,第一弹:文摘生成,能直接用来做毕设的呦
时间:2025-07-16 | 作者: | 阅读:0文心·行业大模型的核心特色是“行业知识增强”,基于通用数据训练的文心大模型,加上挖掘行业应用场景中,大量存在的行业特色大数据和知识,进一步提升大模型对行业应用的适配性。在能源、金融领域,百度与国家电网、浦发银行联合研发了行业大模型。
零:文心大模型简介
5月20日,由深度学习技术与应用国家工程研究中心主办、飞桨承办的WAVE SUMMIT 2022深度学习开发者峰会线上举行。百度业界首发的文心·行业大模型成为峰会一大亮点。
lian合国网、浦发首发行业大模型,开启大模型进化新格局
文心·行业大模型的核心特色是“行业知识增强”,基于通用数据训练的文心大模型,加上挖掘行业应用场景中,大量存在的行业特色大数据和知识,进一步提升大模型对行业应用的适配性。在能源、金融领域,百度与国家电网、浦发银行联合研发了行业大模型。能源电力行业,百度和国网研发了国网-百度·文心大模型。基于通用文心大模型,在海量数据中挖掘了电力行业数据,百度与国网专家们一起,引入电力业务积累的样本数据和特有知识,并且在训练中,结合双方在预训练算法和电力领域业务与算法的经验,设计电力领域实体判别、电力领域文档判别等算法作为预训练任务,让文心大模型深入学习电力专业知识,在国网场景任务应用效果提升。
一:文新大模型室应用——NLP文摘生成
1.1:什么是文摘生成?
自动文摘有两种解决方案:一种是抽取式(Extractive)的,就是从原文中提取一些关键的句子,组合成一篇摘要;另外一种是生成式(Abstractive)的,也是本文重点要讲的内容,这种方式需要计算机通读原文后,在理解整篇文章内容的基础上,使用简短连贯的语言将原文的主要内容表达出来,即会产生原文中没有出现的词和句子。
现阶段,抽取式的摘要目前已经相对成熟,但是抽取质量及内容流畅度都不够理想。随着深度学习的研究,生成式摘要的质量和流畅度都有很大提升,但目前也受到原文本长度过长、抽取内容不佳等限制,生成的摘要与人工摘要相比,还有相当的差距。
1.2:应用方式
1.2.1:使用PaddleNLP进行文摘生成
PaddleNLP中有使用Bart模型进行文摘生成的方式
BART是一种Seq2Seq结构的降噪自编码器,通过增加噪声来破环文本然后重建原文本来训练模型。它使用一个标准的Transformer结构,可以被看作泛化的BERT(由于是双向编码器),GPT(由于是从左到右解码器),和一些其他的预训练模型结构。
但是昨天我在使用Bart的 example时结果出现了一些问题没有搞成,并且你如果NLP基础,完成PaddleNLP中的example还是挺困难的,那么有没有什么比较简单的方式真正的让你一点不了解NLP也能完成文本生成任务呢
1.2.2:使用文心大模型ERNIE 3.0 Zeus 文本生成模型
ERNIE 3.0 Zeus 是全新发布的融合任务相关知识的千亿大模型,该模型大幅刷新各类 NLP 任务最好效果,在各类公开数据集及真实场景上零样本与小样本能力均取得显著提升。当前 API 为开发者提供大模型的探索和体验。
二:使用方式
2.1:获取access_token
access_token是你如果想自己搭建服务如果想去向文心大模型发送请求必须要准备的东西
调用API时必须在URL中带上access_token参数,获取Access Token的流程如下:
2.1.1:获取Access Token
请求URL数据格式
向授权服务地址?https://wenxin.baidu.com/younger/portal/api/oauth/token?发送请求(使用POST),并在URL中带上以下参数:
- grant_type: 必须参数,固定为client_credentials;
- client_id: 必须参数,应用的API Key(AK) 从 https://wenxin.baidu.com/younger 调用专区申请;
- client_secret: 必须参数,应用的Secret Key(SK) 从 https://wenxin.baidu.com/younger 调用专区申请;
其中API Key与Secret Key可以在https://wenxin.baidu.com/younger/apiDetail?id=20006下拉到调用专区进行获取
将API Key与Secret Key填入对应的位置中,并在终端输入
curl -i -k 'https://wenxin.baidu.com/younger/portal/api/oauth/token?grant_type=client_credentials&client_id={API Key}&client_secret={Secret Key}' -H 'Content-Type:application/x-www-form-urlencoded'登录后复制
成功之后就会获取到access Token
2.2:摘要生成
2.2.1:傻瓜版本
直接把下段代码给copy然后运行就可以了
import requestsurl = ”https://wenxin.baidu.com/younger/portal/api/rest/1.0/ernie/3.0/zeus“payload={ 'access_token': '24.9991a77ac60c6e969e176b776f74b09e.86400000.1653006451543.499f8f33b6821ebbf9ba1fbea525d6ae-6', 'text': '19号,印度一些主流媒体发布消息称,汉语普通话被批准成为巴基斯坦官方语言!消息称,巴基斯坦参议院19号通过将汉语普通话作为官方语言的议案,如果普通话成为巴基斯坦官方语言,中巴关系会进一步深化, 两国人民在中巴经济走廊建设中的沟通也会变得更简单。到底是不是真消息呢?据记者了解,事实上,该决议只是提到鼓励学习中国官方语言,并没有提到汉语普通话要成为巴基斯坦的官方语言。文章标题是:', 'seq_len': 32, 'task_prompt': 'Summarization', 'dataset_prompt': '', 'topk': 1, 'stop_token': '》' }response = requests.request(”POST“, url, data=payload)print(response.text)登录后复制
2.2.2:详细介绍版本
首先必须要注意的是每个账户每日免费请求ERNIE 3.0 Zeus API服务的上限为200条输入,免费请求额度共2000条输入。如果您有更多请求需求,请联系:wenxin-younger@baidu.com
也就是说只要我们按照官网给的案例进行提交如果只是初级使用只需要将text中的内容进行修改即可
返回文本样例
{ ”code“: 0, ”msg“: ”success“, ”data“: { ”result“: ”巴基斯坦参议院通过汉语普通话为官方语言议案“ }}登录后复制
这是成功的样例, 下面是一些失败的样例
{”code“:1,”msg“:”access_token is invalid“,”data“:null}{”code“:4004,”msg“:”service backend failed: 'save_infer_model/scale_0.tmp_0'“,”data“:{”result“:”null“}}登录后复制
有的是access_token失效或不对,有的是因为请求太过频繁。
下面时具体的错误码分析
2.2.3:具体API参数
三:实例
In [39]import requestsurl = ”https://wenxin.baidu.com/younger/portal/api/rest/1.0/ernie/3.0/zeus“payload={ 'access_token': '24.033a83fc578d4bfbf3f686b5ddde88c6.86400000.1654314522980.c266ed6c0f65dd3106e3c7e3924a2516-3008', 'text': '请给下面这段话写一句摘要:” 19号,印度一些主流媒体发布消息称,汉语普通话被批准成为巴基斯坦官方语言!消息称,巴基斯坦参议院19号通过将汉语普通话作为官方语言的议案,如果普通话成为巴基斯坦官方语言,中巴关系会进一步深化, 两国人民在中巴经济走廊建设中的沟通也会变得更简单。到底是不是真消息呢?据记者了解,事实上,该决议只是提到鼓励学习中国官方语言,并没有提到汉语普通话要成为巴基斯坦的官方语言。“', 'seq_len': 48, 'task_prompt': 'Summarization', 'dataset_prompt': '', 'topk': 1, 'stop_token': '' }response = requests.request(”POST“, url, data=payload)print(response.text)登录后复制
{”code“:0,”msg“:”“,”data“:{”result“:”汉语普通话成巴基斯坦官方语言?“}}登录后复制
福利游戏
相关文章
更多-
- 香港置地2022年置慧杯:商业综合体能耗预测基线
- 时间:2025-07-16
-
- 上半年新能源轿车及SUV销量榜出炉:吉利、特斯拉夺冠
- 时间:2025-07-16
-
- 报告显示 Cozy舒适系Steam游戏近年极速增长趋势
- 时间:2025-07-16
-
- 【校园AI Day-AI workshop】交通信号标志图像分类
- 时间:2025-07-16
-
- 『2022语言与智能技术竞赛』段落检索比赛基线
- 时间:2025-07-16
-
- 小米汽车上周销量细节曝光:小米YU7 Max交付860辆
- 时间:2025-07-16
-
- 花呗额度65000算高吗?算什么水平?花呗额度范围一览
- 时间:2025-07-16
-
- 日本最大委托游戏开发商新财报暗示 Switch 2今秋大作发力
- 时间:2025-07-16
大家都在玩
热门话题
大家都在看
更多-
- 一汽奥迪公开反对汽车用消费级芯片!汽车正变成快消品吗 网友专家博主们吵翻
- 时间:2025-07-16
-
- 比特币合约交易规则详解:掌握策略
- 时间:2025-07-16
-
- 改写光合作用!麻省理工科学家让植物加速生长
- 时间:2025-07-16
-
- 央视曝App小程序成隐私刺客:13万份体检报告险泄露
- 时间:2025-07-16
-
- WBTC什么时候上交易所
- 时间:2025-07-16
-
- 京东回应外卖取消超时20分钟免单:外卖准时率已大幅提升
- 时间:2025-07-16
-
- 比亚迪出海舰队再加一!第七艘滚装船“郑州号”今日正式交付
- 时间:2025-07-16
-
- Pi Network杠杆能赚钱吗
- 时间:2025-07-16