情感分类模型:Word2Vec + RNN

一、基于 Word2Vec 对预处理好的文本数据进行训练,得到词嵌入矩阵 E,Word2Vec 原理如下,以“I drink coffee everyday”为例:

step-1,输入输出 one-hot 编码,确定采样窗口大小等一系列参数


情感分类模型:Word2Vec + RNN_第1张图片

step-2,初始化嵌入层 E(隐层数 * 字典词数)


情感分类模型:Word2Vec + RNN_第2张图片

step-3,得到每个词的词向量 E * oi = ei,词向量加权平均得到 sita 向量


情感分类模型:Word2Vec + RNN_第3张图片

step-4,初始化 W 矩阵(字典词数 * sita行数),W * sita = u


情感分类模型:Word2Vec + RNN_第4张图片

step-5,softmax(u) = y_hat,Obj = cross_entropy,Opti = GD to E and W


情感分类模型:Word2Vec + RNN_第5张图片

二、将嵌入层套入 RNN 训练情感分类模型


情感分类模型:Word2Vec + RNN_第6张图片

LSTM 细节如下:


情感分类模型:Word2Vec + RNN_第7张图片


情感分类模型:Word2Vec + RNN_第8张图片

你可能感兴趣的:(情感分类模型:Word2Vec + RNN)