word2vec

Q1: 为什么用权重矩阵作为词向量?

Q2: skip-gram是输入target,预测context,那请问它的输入是什么形式?您说输入层对应的是一个神经元?那是target作为1X1矩阵输入?毕竟在我的理解中输入层神经元节点数对应着输入向量的维度。

A: 你好,输入就是一个词向量,输出是若干词向量。
如果词向量维度为5, 上下文一共8个词,那么输入就是一个词,向量维度为5, 输出就是8个词,每个词的向量维度为5.
word2vec里的节点定义和DNN的还是稍有不同,它没有完全按照DNN的模型来建立神经元,即你认为的可能输入是5个神经元。

Q3: 很多人都对skip-gram和cbow模型的输入和输出矩阵的维度有疑问?

TODO,重点理解下,主要很多人对DNN模型、当前skip-gram和cbow模型、Neural Network模型搞混了。

你可能感兴趣的:(word2vec)