TensorFlow学习笔记之六(循环神经网络RNN)

文章目录

      • 1. 循环神经网络简介

1. 循环神经网络简介

循环神经网络源自于1982年由 Saratha Sathasivam提出的霍普菲尔德网络。

循环神经网络的主要用途是处理和预测序列数据,循环神经网络的的典型结构如下图:
TensorFlow学习笔记之六(循环神经网络RNN)_第1张图片
在每一时刻t,循环神经网络会针对该时刻的输入当前模型的状态给出一个输出,并更新模型状态。从图中可以看出,RNN的主体结构A的输入为来自输入层的xt上一时刻的隐藏状态ht-1

循环神经网络对长度为N的序列展开后,可以视为一个有N个中间层的前馈神经网络。

TensorFlow学习笔记之六(循环神经网络RNN)_第2张图片
循环神经网络可以看成同一神经网络在时间序列上被复制多次的结果,这个被复制多次的结构被cheng

未完待续。。。

你可能感兴趣的:(深度学习,学习笔记)