byInformationBottleneck来源：EMNLP2019最佳论文链接：https://arxiv.org/abs/1910.00163代码：未公布动机预训练的语言模型+微调的模式提升了很多nlp任务的baseline，例如emlo

Pre-training+Fine-tuning模式：先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trainedLanguageModel，PLM）（e.g.GPT、EMLO

翻译自：BlogofJayAlammar；http://jalammar.github.io/illustrated-bert/；翻译的同时增加了部分修改以及注解。介绍2018年是机器学习文本处理领域(或者更准确地说，是自然语言处理或简称为NLP)的一个转折点。我们对如何以最佳方式（能够最好地捕捉潜在的含义和关系）表示单词和句子正在迅速发展。此外，NLP社区已经提出了非常强大的组件，您可以免费下载

目录自然语言处理1（分词）自然语言处理2（神经网络）自然语言处理3（词向量）自然语言处理4（循环神经网络）自然语言处理5（seq2seq）自然语言处理6（transformer）自然语言处理7（从EMLo

目录ELMO模型论文摘要核心思想模型细节GPT模型BERT模型ELMO模型论文摘要本文作者推出了一种新的基于深度学习框架的词向量表征模型，这种模型不仅能够表征词汇的语法和语义层面的特征，也能够随着上下文语境的变换而改变。简单来说，本文的模型其实本质上就是基于大规模语料训练后的双向语言模型内部隐状态特征的组合。实验证明，新的词向量模型能够很轻松的与NLP的现有主流模型相结合，并且在六大NLP任务的结

2]注意力机制(Attention)最新综述论文及相关源码[3]基于注意力机制，机器之心带你理解与训练神经机器翻译系统ELMo模型[1]ELMo-论文解读[2]Elmo词向量中文训练过程杂记[3]利用EMLo

而emlo

论文：Deepcontextualizedwordrepresentations参考：https://www.cnblogs.com/huangyc/p/9860430.htmlhttps://blog.csdn.net/firesolider/article/details/88092831ELMo的语言理解是通过预测训练单词序列中的下一个单词来实现，这项任务被称为语言建模。这是很方便的，因为我

语言模型的比较语言模型N-gram模型NNLMword2vecELMOGPTbert附录语言模型词向量表示：one-hot形式：缺点：维度灾难、无法捕捉词之间的相似度分布式表示：通过训练将每个词表示成一个ｎ维的向量优点：一定程度上避免维度灾难、使得词义相似的词在距离上更小目前主要是通过训练语言模型的方式，顺便得到词的向量表示。语言模型是计算出一段序列在某种语言中出现的概率，或者说预测一下个词的概率

现在谈EMLO，倒是有点食之微味，弃之可惜的意思。

此次引起漏洞的是Emlo