百度孙宇：百度语义理解技术ERNIE及其应用

不到现场，照样看最干货的学术报告！

嗨，大家好。这里是学术报告专栏，读芯术小编不定期挑选并亲自跑会，为大家奉献科技领域最优秀的学术报告，为同学们记录报告干货，并想方设法搞到一手的PPT和现场视频——足够干货，足够新鲜！话不多说，快快看过来，希望这些优秀的青年学者、专家杰青的学术报告 ，能让您在业余时间的知识阅读更有价值。

---

人工智能论坛如今浩如烟海，有硬货、有干货的讲座却百里挑一。“AI未来说·青年学术论坛”系列讲座由中国科学院大学主办，百度全力支持，读芯术、paperweekly作为合作自媒体。承办单位为中国科学院大学学生会，协办单位为中国科学院计算所研究生会、网络中心研究生会、人工智能学院学生会、化学工程学院学生会、公共政策与管理学院学生会、微电子学院学生会。2020年6月20日，第16期“AI未来说·青年学术论坛”NLP前沿技术及产业化线上专场论坛以“线上平台直播+微信社群图文直播”形式举行。百度孙宇带来报告《百度语义理解技术ERNIE及其应用》。

百度孙宇的报告视频

孙宇，百度杰出架构师，百度语义理解技术与平台ERNIE负责人。从事语义理解领域研究与应用近10年，取得了多项世界领先成果，相关工作广泛应用于百度搜索、百度信息流、小度音箱、智能客服等产品，在AAAI、IJCAI等人工智能顶级国际会议发表多篇高水平学术论文，已授权或公开的国内外专利60余项，荣获中国电子学会科技进步一等奖、中国人工智能学会优秀科技成果奖、百度最高奖及百度骄傲最佳团队等奖项。

报告内容：近年来，预训练技术在自然语言处理领域发展迅速，并获得广泛应用。2019年，百度NLP研发了基于知识增强的语义理解技术ERNIE，创新性地将大数据预训练与多源丰富知识相结合，研发持续学习算法，不断吸收海量文本数据中词汇、结构、语义等方面的新知识，实现模型效果不断进化，在有代表性的中英文16个任务上取得国际上最好的结果。ERNIE技术广泛落地百度核心业务，取得了显著应用效果。本次报告主要包含百度ERNIE的技术进展、应用情况以及未来发展方向。

百度语义理解技术ERNIE及其应用

孙宇老师首先介绍了语义表示的基础知识与已有方法。他认为语义理解是NLP终极目标之一，并介绍了语义表示学习的符号化表示方法和数学化表示方法。然后他展示了自2003年起至今NLP领域预训练模型的发展，包括2003年Bengio通过神经网络语言模型方法学习神经网络的语言模型，2013年Google提出的Word2vec语言模型算法,2014年斯坦福大学提出的通过全局词频统计表示词向量的Glove模型，以及2018年左右利用Transformer的深度语言学习模型，以及大名鼎鼎的BERT方法提出的上下文相关模型，2019年语义表示学习预训练工作百花齐放，百度提出了ERNIE方法使用知识增强方式做语义表示学习，在GLUE通用语言理解数据集中得到了目前最好的效果，突破90分。

接着孙宇老师介绍了ERNIE系列工作的原理和技术布局。在展示的百度ERNIE基于预训练语义理解方法技术和平台全景图中，首先包含基础技术，如词向量模型、句段模型、篇章模型；基于通用基础之上，构建如文本生成任务等面向应用任务的预训练语义表示方法和技术，再基于此进行面向金融、法律等行业技术的研究。与此同时，为了技术更好的落地，百度也进行了很多模型轻量化、蒸馏、结构化搜索的探索，并展开面向未来的前沿探索，如视觉语言多模态语义理解，基于图的表示和理解等。基于核心技术，百度还构建了很多开源的工具和平台，帮助前沿技术真正应用于产品。

百度ERNIE技术发展脉络

孙宇老师还介绍了百度ERNIE技术的发展脉络。2019年3月提出ERNIE的思路与技术，中文方面超过BERT效果，同年7月份提出ERNIE2.0方法，在中英文全面领先了当时世界最好效果，同年11月对业界发布语义理解开发套件，实现技术到产品的转化。今年3月份，ERNIE在SemEval上拿到五项冠军，5月份又对ERNIE开发套件做了全新的升级，能够让开发者使用动态图的方式使用ERNIE。

接着，孙宇老师介绍了ERNIE技术的具体细节。首先，对BERT，Transformer等模型进行简要介绍，并指出BERT模型掩盖字的方式只能聚焦在局部语言信号上的缺点，而ERNIE通过掩盖词、实体、短语，十分精巧地进行了知识的表示与学习，能够进行全局的学习，在中英文中都取得了很好的效果。在ERNIE2.0中持续学习语义理解框架中，通过引入模型知识，学习新知识不遗忘旧知识，通过大数据构建一系列语言生成任务，增量式加入多任务学习器里，不断学习模型、更新模型，用模型再监督构建预训练任务。孙宇老师列举了一些有趣的能给效果带来较大提升的预训练任务，如语序学习、句子语义相似性学习，逻辑推理学习等，最终ERNIE2.0取得了SOTA。另外，在语言生成方面，百度通过多流机制完整语义片断预训练模型去做语言生成的任务，采用了两个重要思路，一个是采用填充式生成，缓解基于上文预测的依赖问题，二是完整语义片段生成（span-by-span），一段段地生成文本。之后，老师又简要介绍了面向具体领域的工作，面向图结构的语义理解，以及模型轻量化的工作。

ERNIE领域模型

另外，孙宇老师还分享了在创新技术上一些落地平台化的思考，他认为BERT、ERIIE等预训练模型方法是非常通用型的技术，在具有显著效果的同时，可以进行更简单的标准化应用，这是一种新的模式，并可能是未来NLP研发的主流，即Pre—training和Fine—tuning，基于大量数据进行预训练，然后基于小规模数据Fine—tuning，从而得到非常好的效果，进而为开发者、企业、工业界带来一个契机，降低NLP训练成本。

最后，孙宇老师介绍了投入大量精力构建的开源工具集，将ERNIE预训练技术、模型和算法，以及ERNIE蒸馏、高性能部署等全部集成到工具箱中，并将工具箱集成到百度的AI开发平台，为数据处理、模型训练、评估、部署一系列环节提供一整套的服务。老师提供了ERNIE的开源地址，以及相关的交流群和公众号，提供了解ERNIE技术、原理、工具、产品的窗口，方便同学们的研究学习。

（整理人：张熙、李琳）

AI未来说*青年学术论坛

第一期 数据挖掘专场

1. 李国杰院士：理性认识人工智能的“头雁”作用

2. 百度熊辉教授：大数据智能化人才管理

3. 清华唐杰教授：网络表示学习理论及应用

4. 瑞莱智慧刘强博士：深度学习时代的个性化推荐

5. 清华柴成亮博士：基于人机协作的数据管理

第二期 自然语言处理专场

1. 中科院张家俊：面向自然语言生成的同步双向推断模型

2. 北邮李蕾：关于自动文本摘要的分析与讨论

3. 百度孙珂：对话技术的产业化应用与问题探讨

4. 阿里谭继伟：基于序列到序列模型的文本摘要及淘宝的实践

5. 哈工大刘一佳：通过句法分析看上下文相关词向量

第三期 计算机视觉专场

1. 北大彭宇新：跨媒体智能分析与应用

2. 清华鲁继文：深度强化学习与视觉内容理解

3. 百度李颖超：百度增强现实技术及应⽤

4. 中科院张士峰：基于深度学习的通用物体检测算法对比探索

5. 港中文李弘扬 ：物体检测最新进展

第四期 语音技术专场

1. 中科院陶建华：语音技术现状与未来

2. 清华大学吴及：音频信号的深度学习处理方法

3. 小米王育军：小爱背后的小米语音技术

4. 百度康永国：AI 时代的百度语音技术

5. 中科院刘斌：基于联合对抗增强训练的鲁棒性端到端语音识别

第五期 量子计算专场

1. 清华大学翟荟：Discovering Quantum Mechanics with Machine Learning

2. 南方科技大学鲁大为：量子计算与人工智能的碰撞

3. 荷兰国家数学和计算机科学中心（CWI）李绎楠：大数据时代下的量子计算

4. 苏黎世联邦理工学院（ETH）杨宇翔：量子精密测量

5. 百度段润尧：量子架构——机遇与挑战

第六期 机器学习专场

1. 中科院张文生：健康医疗大数据时代的认知计算

2. 中科院庄福振：基于知识共享的机器学习算法研究及应用

3. 百度胡晓光：飞桨（PaddlePaddle）核心技术与应用实践

4. 清华大学王奕森：Adversarial Machine Learning: Attack and Defence

5. 南京大学赵申宜：SCOPE - Scalable Composite Optimization for Learning

第七期 自动驾驶专场

1. 北京大学查红彬：基于数据流处理的SLAM技术

2. 清华大学邓志东：自动驾驶的“感”与“知” - 挑战与机遇

3. 百度朱帆：开放时代的自动驾驶 - 百度Apollo计划

4. 北理宋文杰：时空域下智能车辆未知区域自主导航技术

第八期 深度学习专场

1. 中科院文新：深度学习入门基础与学习资源

2. 中科院陈智能：计算机视觉经典——深度学习与目标检测

3. 中科院付鹏：深度学习与机器阅读

第九期 个性化内容推荐专场

1. 人民大学赵鑫：基于知识与推理的序列化推荐技术研究

2. 中科院赵军：知识图谱关键技术及其在推荐系统中的应用

第十期 视频理解与推荐专场

1. 北京大学袁晓如：智能数据可视分析

第十一期 信息检索与知识图谱专场

1. 北京邮电大学邵蓥侠：知识图谱高效嵌入方法

2. 人民大学徐君：智能搜索中的排序-突破概率排序准则

3. 百度周景博：POI知识图谱的构建及应用

4. 百度宋勋超：百度大规模知识图谱构建及智能应用

5. 百度冯知凡：基于知识图谱的多模认知技术及智能应用

第十二期 年度特别专场

1. 复旦大学桂韬：当NLP邂逅Social Media--构建计算机与网络语言的桥梁

2. 清华大学董胤蓬：Adversarial Robustness of Deep Learning

3. UIUC罗宇男：AI-assisted Scientific Discovery

4. 斯坦福应智韬：Graph Neural Network Applications

第十三期 AI助力疫情攻关线上专场

1. 清华大学吴及：信息技术助力新冠防控

2. 北京大学王亚沙：新冠肺炎传播预测模型

3. 百度黄际洲：时空大数据与AI助力抗击疫情——百度地图的实践与思考

4. 百度张传明：疫情下的“活”导航是如何炼成的

第十四期 深度学习线上专场

1. 中国科学院徐俊刚：自动深度学习解读

2. 北航孙钰：昆虫目标检测技术

3. 百度尤晓赫：EasyDL，加速企业AI转型

4. 百度邓凯鹏：飞桨视觉技术解析与应用

第十五期 大数据线上专场

1. 复旦赵卫东：大数据的系统观

2. 中科大徐童：AI×Talent数据驱动的智能人才计算

3. 百度李伟彬：基于PGL的图神经网络基线系统

4. 中科大张乐：基于人才流动表征的企业竞争力分析

推荐阅读专题

留言 点赞 发个朋友圈

我们一起分享AI学习与发展的干货

推荐文章阅读

ACL2018论文集50篇解读

EMNLP2017论文集28篇论文解读

2018年AI三大顶会中国学术成果全链接

ACL2017 论文集：34篇解读干货全在这里

10篇AAAI2017经典论文回顾

长按识别二维码可添加关注

读芯君爱你