神经语言模型

神经语言模型_第1张图片

模型的目的是训练一个神经语言模型,即给定n-1个单词,预测第n个单词是什么。词向量是过程中得到的副产品。

模型说明:
step1: 矩阵C是V×d,也就是上面提到的词向量矩阵。每一个用one-hot表示的单词投影到其对应的词向量。然后拼接起来得到 X X X, X X X的维度是 d ( n − 1 ) d(n-1) d(n1)
step2: t a n h ( X W + b ) tanh(XW+b) tanh(XW+b), W W W是d(n-1)×h
step3: y = t a n h ( X W + b ) U + X H + b ′ y = tanh(XW+b)U + XH+b' y=tanh(XW+b)U+XH+b, U U U是h×V, H H H是d(n-1)×V
step4:softmax

你可能感兴趣的:(深度学习)