pytorch学习笔记-----自然语言处理词向量

问题:文本数据不能直接输入神经网络,用词频统计没有位置顺序信息

词向量模型-Word2Vec

1.词向量可以记录位置信息

2.词向量可以将同义此归为同一个向量例如:红,red

3.同类应该在相近的位置例如:篮球,排球

维数一般为特征:

比如说:一根笔的长度,宽度,颜色等这些都为一个维度
我们可以通过算距离来计算相似度

个人理解:整个流程就是把词生成词向量,词向量表是随机初始化的,训练的过程就是要更新他的词向量,使之能更好的预测下一个词

你可能感兴趣的:(pytorch学习笔记,神经网络)