深度学习----词向量历史和发展现状解说

小编看了大量的文档，觉得一下文章写得最好

词向量发展篇：
https://blog.csdn.net/m0_37565948/article/details/84989565
内容：共现矩阵-SVD-NNLM-Word2Vec-Glove-ELMo

由One-hot编码到BERT词向量发展进程
https://blog.csdn.net/miangangzhen/article/details/85318096

word2vec中的模型解说
https://blog.csdn.net/u012762419/article/details/79366052

word2vec升级版GloVe解说
https://nlp.stanford.edu/projects/glove/

---

补充
BERT
为了弥补ELMo的不足，BERT真正实现了双向语言模型。

训练过程：输入句子 - embedding层(768) - position_embedding层(768) - transformer层(768) * 12 - masked_lm层 - next_sentence层
预测过程：输入句子 - embedding层(768) - position_embedding层(768) - transformer层(768) * 12

ELMO网络结构

训练过程：输入句子 - embedding层(512) - 双向lstm层(2512) - 双向lstm层(2512) - softmax层(vocab_size)
预测过程：输入句子 - embedding层(512) - 双向lstm层(2512) - 双向lstm层(2512) - 拼接前三层各自的输出(3*1024