RNNLM

RNNLM

基于RNN的语言模型称为RNNLM(Language Model)。

Embedding 层：将单词ID转化为单词的分布式表示（单词向量）。

RNN层：向下一层(上方)输出隐藏状态，同时也向下一时刻的RNN层(右边)输出隐藏状态。

对于“you say goodbye and i say hello.”如果模型学习顺利。

输入的数据是单词ID列表，输入单词ID为0的you，Softmax层输出的概率分布P0中，say的概率最高。这说明预测出了you后面出现的单词为say。

输入单词ID为1的say，Softmax层输出的概率分布P1中，goodbye和hello的概率最高。RNN层记忆了you say这一上下文。RNN将you say这一过去的信息保存成隐藏状态向量。

RNNLM可以记忆目前为止输入的单词，并以此为基础预测接下来会出现的单词。