RNN系列之三 RNN简单应用

1.语言模型

    将以语言模型进行分析。建立语言模型所采用的训练集是一个大型的 语料库（Corpus）。建立过程中，需要先建立一个字典，之后将语料库中每个词表示为对应的one-hot向量。此外需要额外定义一个标记EOS（End Of Sentence）表示一个句子的结尾，也可以将其中的标点符号加入字典后也用one=hot向量表示。对于语料库中部分（英语）人名、地名等特殊的不包含在字典中的词汇，可在词典中加入再用一个UNK（Unique Token）标记来表示。以让RNN学习生成新的同风格语言为例。

2.训练过程

    将标志化后的训练集输入网络中，如下图所示：

    

                                                                                 --来源http://binweber.top/2018/02/20/deep_learning_9/

损失函数为：

    

3.测试过程

    对一个以训练好的模型，需要通过采样来了解模型学到的东西。

                                                                                                              ---来源Andrew Ng深度学习课件

第一个时间步中输入的a⟨0⟩和x⟨1⟩为零向量，依据softmax预测出的字典中每一个词作为第一个词出现的概率，选取一个词ŷ ⟨1⟩作为第二个时间步的输入。后面与此类似。