GRU门控循环神经网络

门控循环网络
深度学习的概念源于对人工神经网络的研究,门控循环单元GRU神经网络是深度学习的一种。长短期记忆网络(LSTM)在RNN的基础上,通过引入门控操作解决了其梯度爆炸的问题,而GRU网络实际上是LSTM网络一种较为成功的变体【1,2,3】。
GRU门控循环神经网络_第1张图片
对比一般的神经网络,GRU网络收敛速度快且不容易发生梯度消失的情况,主要原因是该网络复杂的门控单元(细胞状态)通过偏置和相关参数来实时和灵活的调整激活函数的输入,进而控制门的开启和关闭,保存和更新有用的信息,将过程中的梯度进行了抵消,使得GRU深度门控网络具有高效的性能,适合于处理时间序列中间隔和延迟非常长的事件,如预测风速,入库径流,未来天气状况、温度湿度等。GRU神经网络结构如图1中所示。
GRU门控循环神经网络_第2张图片
图1 GRU深度门控网络架构
Fig. 1 GRU deep gated network architecture
GRU门控循环神经网络_第3张图片
GRU门控循环神经网络_第4张图片

[1] C. Gulcehre, K. Cho, R. Pascanu, et al. Learned-norm pooling for deep feedforward and recurrent neural networks [M]. In Machine Learning and Knowledge Discovery in Databases, pages 530–546. Springer, 2014.
[2] Graves A, Jürgen Schmidhuber. Framewise phoneme classification with bidirectional LSTM and other neural network architectures[J]. Neural Networks, 2005, 18(5-6): 602-610.
[3] 李文武, 石强, 王凯, 等. 基于变分模态分解和深度门控网络的径流预测[J]. 水力发电学报, 2020, 39(3): 34-44.

你可能感兴趣的:(GRU门控循环神经网络)