GRU门控循环单元自学笔记（动手学深度学习）

前言：在上一章节中，通过对RNN模型计算图进行反向传播链式求导推理，可以看出普通RNN模型可能存在梯度爆炸或梯度消失的问题（因为存在矩阵的次幂项）。因此在本章中提出了若干模型可以缓解梯度消失或梯度爆炸，并且这些模型可以做到对不同时间步设置不同权重（为重要时间节点赋予较大权重并更新隐状态，为不重要的时间节点赋予较小权重并且不更新隐状态）。LSTM出现时间早于GRU，但由于GRU架构较为简单，所以先进行介绍。

1.1 重置门和更新门

 我们通过sigmoid激活函数把它们设计成(0,1)区间中的向量， 这样我们就可以进行凸组合。 重置门允许我们控制“可能还想记住”的过去状态的数量； 更新门将允许我们控制新状态中有多少个是旧状态的副本。

 首先计算重置门和更新门的输出（激活函数内部求和会触发广播机制）：

 1.2候选隐状态

因为不确定是否直接更新隐状态（类似前一章RNN中做法），所以我们引入‘候选隐状态’。

以时间步t为例，候选隐状态计算公式为： 

 注意：候选隐状态中激活函数更改为tanh，取值范围在(-1,1)之间。并且引入Hadamard积（按元素乘积）运算。Rt与Ht-1的元素相乘可以减少以往状态的影响，每当重置门Rt中的项接近1时， 我们恢复一个普通的循环神经网络。对于重置门Rt中所有接近0的项，候选隐状态是以Xt作为输入的多层感知机的结果。

1.3隐状态

 上述的计算结果只是候选隐状态，我们仍然需要结合更新门Zt的效果。 这一步确定新的隐状态Ht在多大程度上来自旧的状态Ht−1和新的候选状态H~t。 该步的本质即对上一时刻隐状态Ht-1和当前时刻候选隐状态进行加权求和（矩阵加法）。 这就得出了门控循环单元的最终更新公式：

 每当更新门Zt接近1时，模型就倾向只保留旧状态。此时，来自Xt的信息基本上被忽略，从而有效地跳过了依赖链条中的时间步t。相反，当Zt接近0时，新的隐状态Ht就会接近候选隐状态H~t。这些设计可以帮助我们处理循环神经网络中的梯度消失问题， 并更好地捕获时间步距离很长的序列的依赖关系。

 最终的计算流图为：

 代码部分（从零实现）：

#导入包
import torch
from torch import nn
from d2l import torch as d2l

batch_size, num_steps = 32, 35
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)

#初始化模型参数
def get_params(vocab_size, num_hiddens, device):
    num_inputs = num_outputs = vocab_size

    def normal(shape):
        return torch.randn(size=shape, device=device)*0.01

    def three():
        return (normal((num_inputs, num_hiddens)),
                normal((num_hiddens, num_hiddens)),
                torch.zeros(num_hiddens, device=device))

    W_xz, W_hz, b_z = three()  # 更新门参数
    W_xr, W_hr, b_r = three()  # 重置门参数
    W_xh, W_hh, b_h = three()  # 候选隐状态参数
    # 输出层参数
    W_hq = normal((num_hiddens, num_outputs))
    b_q = torch.zeros(num_outputs, device=device)
    # 附加梯度
    params = [W_xz, W_hz, b_z, W_xr, W_hr, b_r, W_xh, W_hh, b_h, W_hq, b_q]
    for param in params:
        param.requires_grad_(True)
    return params
#定义初始隐状态
def init_gru_state(batch_size, num_hiddens, device):
    return (torch.zeros((batch_size, num_hiddens), device=device), )
#定义模型
def gru(inputs, state, params):
    W_xz, W_hz, b_z, W_xr, W_hr, b_r, W_xh, W_hh, b_h, W_hq, b_q = params
    H, = state
    outputs = []
    for X in inputs:
        Z = torch.sigmoid((X @ W_xz) + (H @ W_hz) + b_z)
        R = torch.sigmoid((X @ W_xr) + (H @ W_hr) + b_r)
        H_tilda = torch.tanh((X @ W_xh) + ((R * H) @ W_hh) + b_h)
        H = Z * H + (1 - Z) * H_tilda
        Y = H @ W_hq + b_q
        outputs.append(Y)
    return torch.cat(outputs, dim=0), (H,)
#训练与预测
vocab_size, num_hiddens, device = len(vocab), 256, d2l.try_gpu()
num_epochs, lr = 500, 1
model = d2l.RNNModelScratch(len(vocab), num_hiddens, device, get_params,
                            init_gru_state, gru)
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)