GRU门控循环神经网络

门控循环网络
深度学习的概念源于对人工神经网络的研究，门控循环单元GRU神经网络是深度学习的一种。长短期记忆网络（LSTM）在RNN的基础上，通过引入门控操作解决了其梯度爆炸的问题，而GRU网络实际上是LSTM网络一种较为成功的变体【1,2,3】。

对比一般的神经网络，GRU网络收敛速度快且不容易发生梯度消失的情况，主要原因是该网络复杂的门控单元（细胞状态）通过偏置和相关参数来实时和灵活的调整激活函数的输入，进而控制门的开启和关闭，保存和更新有用的信息，将过程中的梯度进行了抵消，使得GRU深度门控网络具有高效的性能，适合于处理时间序列中间隔和延迟非常长的事件，如预测风速，入库径流，未来天气状况、温度湿度等。GRU神经网络结构如图1中所示。

图1 GRU深度门控网络架构
Fig. 1 GRU deep gated network architecture

[1] C. Gulcehre, K. Cho, R. Pascanu, et al. Learned-norm pooling for deep feedforward and recurrent neural networks [M]. In Machine Learning and Knowledge Discovery in Databases, pages 530–546. Springer, 2014.
[2] Graves A, Jürgen Schmidhuber. Framewise phoneme classification with bidirectional LSTM and other neural network architectures[J]. Neural Networks, 2005, 18(5-6): 602-610.
[3] 李文武, 石强, 王凯, 等. 基于变分模态分解和深度门控网络的径流预测[J]. 水力发电学报, 2020, 39(3): 34-44.