【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文


作者:CHEONG

公众号:AI机器学习与知识图谱

研究方向:自然语言处理与知识图谱


本文主要分享自然语言处理中有关预训练模型原理和实践的学习资料,18篇原论文原稿获取请关注公众号后回复:预训练论文,ppt原稿获取请回复:Embedding,其中包括:

  • 一篇预训练模型原理综述
  • 一篇预训练模型代码实践综述
  • 一篇Fasttext的原理和实践综述
  • 一篇预训练相关的PPT汇报


一、预训练模型原理


具体见:干货 | NLP中的十个预训练模型



二、预训练模型实践


具体见:Word2vec, Fasttext, Glove, Elmo, Bert, Flair训练词向量教程+数据+源码



三、Fasttext模型预训练+实践


具体见:FastText原理和文本分类实战,看这一篇就够了



四、论文原稿


18篇论文原稿,获取请关注公众号后回复:预训练论文

【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第1张图片



五、汇报PPT


下面汇报ppt主要从Word Embedding和Sentence Embedding两个角度介绍NLP预训练相关模型,ppt原稿获取请回复:Embedding

【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第2张图片
【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第3张图片
【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第4张图片
【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第5张图片
【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第6张图片
【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第7张图片
【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第8张图片
【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第9张图片
【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第10张图片
【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第11张图片
【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第12张图片

【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第13张图片
【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第14张图片
【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文_第15张图片



六、往期精彩


【知识图谱系列】Over-Smoothing 2020综述

【知识图谱系列】基于生成式的知识图谱预训练模型

【知识图谱系列】基于2D卷积的知识图谱嵌入

【知识图谱系列】基于实数或复数空间的知识图谱嵌入

【知识图谱系列】自适应深度和广度图神经网络模型

【知识图谱系列】知识图谱多跳推理之强化学习

【知识图谱系列】知识图谱的神经符号逻辑推理

【知识图谱系列】动态时序知识图谱EvolveGCN

【知识图谱系列】多关系神经网络CompGCN

【知识图谱系列】探索DeepGNN中Over-Smoothing问题

【知识图谱系列】知识图谱表示学习综述 | 近30篇优秀论文串讲

【知识图谱系列】动态知识图谱表示学习综述 | 十篇优秀论文导读

【面经系列】八位硕博大佬的字节之旅

【机器学习系列】机器学习中的两大学派

各大AI研究院共35场NLP算法岗面经奉上

干货 | Attention注意力机制超全综述

干货 | NLP中的十个预训练模型

干货|一文弄懂机器学习中偏差和方差

FastText原理和文本分类实战,看这一篇就够了

Transformer模型细节理解及Tensorflow实现

GPT,GPT2,Bert,Transformer-XL,XLNet论文阅读速递

机器学习算法篇:最大似然估计证明最小二乘法合理性

Word2vec, Fasttext, Glove, Elmo, Bert, Flair训练词向量教程+数据+源码


18篇原论文原稿获取请关注公众号后回复:预训练论文,ppt原稿获取请回复:Embedding,感谢zhouzhou对相关资料的提供!原创不易,有用就点个赞呀!

你可能感兴趣的:(自然语言处理,自然语言处理,预训练模型,WordEmbedding,Fasttext,词向量)