词向量与ELMo模型

简介： 词向量作为一种预训练模型在NLP领域应用非常广泛，词向量可以看作是表达词的语义。在这个领域，一个重要的挑战为一个单词在不同的上下文里有可能表示不一样的语义，那如何解决这个问题呢？在本次讲座里，我们重点来讲解ELMo，它是一种基于BI-LSTM的深度学习模型，用来动态地计算一个单词在上下文中的语义向量。

大纲：

预训练与词向量

词向量的常见训练方法

深度学习与层次表示

LSTM， BI-LSTM模型回顾

基于BI-LSTM的ELMo算法

总结

语义的量化表示是NLP的核心

语言模型，用来判断一句话从语法上是否通顺/合法，联合概率

word2vec，bert

LM：language model，考虑了马尔科夫语言模型

MF：矩阵分解，LDA：主题分解

词向量常见训练方法比较

问答

IoT，物联网、机器人、在线教育、量化投资（股民等的情感分析、政策及最新消息的分析）等领域发展

nlp16年起来繁荣，而cv 09后即红火。

有潜力的领域：图模型，可以结合到先验知识，这点在神经网络中比较难？