RNN初学入门笔记(1)

本篇博客翻译自http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ 系列的第一篇,并参考了网络上的部分资源.

初识RNN
RNNs(Recurrent Neural NetWorks)循环神经网络是比较流行的网络模型之一,在NLP的许多任务中有着出色的表现。
在阅读如下内容时,需要对ANN的基础有所了解。
RNNs这种网络尤其是对序列数据非常有用,因为每个神经元或者单元能用它的内部存储来保存之前输入的相关信息。在语言的案例中,「I had washed my house」这句话的意思与「I had my house washed」大不相同。这就能让网络获取对该表达更深的理解。
注意到这点很重要,因为当阅读一个句子甚至是一个人时,你就是要从它之前的单词中提出每个词的语境。
RNNs的目的使用来处理序列数据。在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。RNNs之所以称为循环神经网路,即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中,即隐藏层之间的节点不再无连接而是有连接的,并且隐藏层的输
RNN初学入门笔记(1)_第1张图片
RNN初学入门笔记(1)_第2张图片
RNN初学入门笔记(1)_第3张图片
RNN初学入门笔记(1)_第4张图片
RNN初学入门笔记(1)_第5张图片
RNN初学入门笔记(1)_第6张图片
RNN初学入门笔记(1)_第7张图片

你可能感兴趣的:(机器学习与神经网络推理,翻译)