了解RNN循环神经网络

系列文章目录

参考闭站视频

文章目录

  • 系列文章目录
  • 一 、 RNN介绍
    • 1. RNN与全连接网络的区别
    • 2. 单输入多输出的RNN结构
    • 3. 多输入多输出的RNN结构(等长)
    • 3. 多输入多输出的RNN结构(不等长)(Seq2Seq模型)
    • 4. 应用注意力机制
  • 二 、 LSTM介绍
    • 2.1 RNN的结构缺陷
    • 2.2 LSTM整体结构
    • 2.3 总结


一 、 RNN介绍

1. RNN与全连接网络的区别

RNN比全连接神经网络多了参数h0,因此RNN的神经元公式会比全连接神经网络的神经元多一项(f为激励函数)
训练过程与全连接神经网络并无区别:梯度下降原则

了解RNN循环神经网络_第1张图片

输入是可以多个且有序的,它可以模拟人类阅读的顺序去读取文本或者别的序列化数据,且通过隐藏层神经元的编码,上一个隐藏层神经元的信息可以传递到下一个隐藏层神经元,因而形成一定的记忆能力,能够更好地理解序列化数据。

2. 单输入多输出的RNN结构

这种结构通常应用于输入一个图像,输出描述该图像的文本

了解RNN循环神经网络_第2张图片

3. 多输入多输出的RNN结构(等长)

由于输入与输出等长,这种结构的用途就比较狭窄,仅限于输入与输出等长的序列数据如诗词文等,作诗机器人就是这么诞生的。
了解RNN循环神经网络_第3张图片

3. 多输入多输出的RNN结构(不等长)(Seq2Seq模型)

自编码器:
了解RNN循环神经网络_第4张图片
我们可以利用RNN和自编码器的原理构造一个翻译机器人,同样的,这个自编码器(翻译机器人)的输入也等于输出,只不过输入与输出用不同的语言去表示罢了

两种结构
了解RNN循环神经网络_第5张图片
了解RNN循环神经网络_第6张图片

4. 应用注意力机制

了解RNN循环神经网络_第7张图片
了解RNN循环神经网络_第8张图片

二 、 LSTM介绍

Long-Short term memory

2.1 RNN的结构缺陷

RNN结构共享一组(U,W,b),这是RNN结构最重要的特性,不过是由于这个特性,才导致LSTM长短期记忆网络的诞生。
因为(UWb)不变的情况下,梯度在反向传播过程中,不断连乘,数值不是越来越大就是越来越小,这样就出现了梯度爆炸或者梯度消失的情况,所以往往用RNN去训练模型得不到预期的效果。

2.2 LSTM整体结构

与RNN相比,LSTM的神经元还是基于输入X和上一级的隐藏层输出h来计算,只不过内部结构变了,也就是神经元的运算公式变了,而外部结构并没有任何变化,因此之前提及的RNN各种结构都能用LSTM来替换。
LSTM的神经元加入了输入门i遗忘门f输出门o内部记忆单元c
了解RNN循环神经网络_第9张图片
遗忘门f :控制输入X和上一层隐藏层输出h被遗忘的程度大小
了解RNN循环神经网络_第10张图片
输入门i :控制输入X和当前计算的状态更新到记忆单元的程度大小
了解RNN循环神经网络_第11张图片
内部记忆单元
了解RNN循环神经网络_第12张图片
输出门o :控制输入X和当前输出取决于当前记忆单元的程度大小
了解RNN循环神经网络_第13张图片
公式参数解释】
了解RNN循环神经网络_第14张图片

2.3 总结

了解RNN循环神经网络_第15张图片

你可能感兴趣的:(循环神经网络)