embedding的综述

0【自然语言处理】Word2Vec 词向量模型详解 + Python代码实战

1 一文读懂Embedding的概念,以及它和深度学习的关系

one-hot 变成地位稠密的向量,降维
embedding的综述_第1张图片
什么是词嵌入:讲词汇表中的词或者词语映射成固定长度的向量。
embedding的综述_第2张图片

具体过程:
embedding的综述_第3张图片
one-hot变成低维连续的向量

embedding的综述_第4张图片
语义相近的词语,词语赌赢的向量位置也更近
embedding的综述_第5张图片

embedding的综述_第6张图片
embedding的综述_第7张图片
具体实例:
embedding的综述_第8张图片
embedding的综述_第9张图片
embedding的综述_第10张图片
embedding的综述_第11张图片
embedding的综述_第12张图片
问题:怎么得到embedding
1 word2vec
embedding的综述_第13张图片
embedding的综述_第14张图片

1.1·CBOW模型实例:

embedding的综述_第15张图片

embedding的综述_第16张图片
embedding的综述_第17张图片

embedding的综述_第18张图片

embedding的综述_第19张图片

embedding的综述_第20张图片

embedding的综述_第21张图片
embedding的综述_第22张图片
embedding的综述_第23张图片

1.2 skip-gram 实例

embedding的综述_第24张图片
embedding的综述_第25张图片

embedding的综述_第26张图片
embedding的综述_第27张图片
embedding的综述_第28张图片
embedding的综述_第29张图片
embedding的综述_第30张图片
embedding的综述_第31张图片
embedding的综述_第32张图片
embedding的综述_第33张图片

你可能感兴趣的:(embedding)