NLP到word2vec实战班视频截图2---Word2vec理论基础

视频地址:https://www.bilibili.com/video/av27083004/?p=2

老师的blog地址:https://www.zybuluo.com/hanxiaoyang/note/472184

NLP到word2vec实战班视频截图2---Word2vec理论基础_第1张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第2张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第3张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第4张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第5张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第6张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第7张图片

词袋模型即第一项中文档向量表示为直接将各词的向量直接加和

TDIDF也是词袋模型的一种表示法

gram:元

language model:非常重要,特别是machine translation。

下面的连乘一般用log取和

NLP到word2vec实战班视频截图2---Word2vec理论基础_第8张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第9张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第10张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第11张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第12张图片

下面的每一行或者每一列都能纯天然地作为一个词向量,对称矩阵

NLP到word2vec实战班视频截图2---Word2vec理论基础_第13张图片

 

NLP到word2vec实战班视频截图2---Word2vec理论基础_第14张图片

对于上面的sparse matrix,自然会想到降维,SVD、PCA等

NLP到word2vec实战班视频截图2---Word2vec理论基础_第15张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第16张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第17张图片

word2vec的前身

从下往上:

第一层:投射层,取出词对应的词向量,词的初始向量可以随机初始化(one-hot),注意投影矩阵是D行V列,然后点乘V行1列,得到该词的D行一列的向量。在输入隐层前,输入的向量会在投影层进行简单的concat拼接,比如每个单词都是300维,则三个单词拼接为900维

第二层:隐层,激活函数。

第三层:softmax,输出V个词的概率

最后我们是想要投射层的参数,它有每个词的词向量

NLP到word2vec实战班视频截图2---Word2vec理论基础_第18张图片

 

下面介绍word2vec

与NNLM的不同点:

1、把投射层去掉,输入直接是词向量,而不是one-hot的编码(投影太麻烦)

2、对词向量不再concat,而是直接sum求和,再softmax

3、去掉了hidden layer

目标函数:对数最大似然

针对最后一层softmax,至少几十万维,两种优化方案:层次softmax和负采样

层次softmax:对最后一层的二叉树改进为huffman树,降低树的深度,每个节点往左走或者往右走都是一次lr。

NLP到word2vec实战班视频截图2---Word2vec理论基础_第19张图片

负采样

NLP到word2vec实战班视频截图2---Word2vec理论基础_第20张图片

怎么选择那V-1个负样本呢?

随机丢看落在0-1线段的哪个区域,与词的频率有关

NLP到word2vec实战班视频截图2---Word2vec理论基础_第21张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第22张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第23张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第24张图片

对于样本量不是特别大的情况,我们倾向于用CBOW,样本量非常非常大的话考虑negative sample

 

NLP到word2vec实战班视频截图2---Word2vec理论基础_第25张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第26张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第27张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第28张图片

NLP到word2vec实战班视频截图2---Word2vec理论基础_第29张图片

 

 

你可能感兴趣的:(NLP)