【大咖说Ⅱ】中科院信工所研究员林政:大规模预训练语言模型压缩技术

【大咖说Ⅱ】中科院信工所研究员林政:大规模预训练语言模型压缩技术_第1张图片

欢迎来到2022 CCF BDCI大咖说系列专题报告

听顶级专家学者围绕特定技术领域或选题,讲述自身成果的研究价值与实际应用价值

便于广大技术发烧友、大赛参赛者吸收学术知识,强化深度学习

每周一、三、五,「大咖说」与你相约“一碗数据汤”~

本期大咖

林政,中科院信工所研究员,博士生导师。研究兴趣包括情感分析、智能问答、模型压缩等;2018、2019年连续获得全国“军事智能-机器阅读”挑战赛冠军;2020年在常识推理阅读国际比赛排行榜上取得了三个任务的第一名;近几年在NIPS、ACL、EMNLP、AAAI、IJCAI等国内外顶级学术会议和期刊上发表论文50篇,入选F5000优秀论文,获得国家自然科学基金青年项目、面上项目、国家重点研发计划等多个项目资助。

研究技术方向:网络内容安全,自然语言处理

分享主题:大规模预训练语言模型压缩技术

近几年,预训练语言模型已经成为自然语言处理的主流范式。预训练语言模型的使用分为两步,第一步是在大规模无监督语料上pre-train(预训练)一个大模型,第二步是在下游任务上fine-tune(微调)得到任务相关模型。

随着各类预训练语言模型(如BERT、GPT)的参数量呈指数级增长,这些大模型在带来性能提升的同时,也带来了一些新的问题。比如,大模型的训练开销大、难以在资源受限的场景中部署应用等。所以,我们需要对大规模预训练模型进行高效压缩。

戳视频,看林政老师的完整分享内容↓↓↓

【大咖说Ⅱ】中科院信工所研究员林政:大规模预训练语言模型

希望大家听完林政老师的分享,能学以致用,应用到竞赛中打怪升级、实操进阶哟~ 

你可能感兴趣的:(语言模型,人工智能,预训练,自然语言处理)