自然语言处理(十一):GRU模型

自然语言处理笔记总目录


GRU(Gated Recurrent Unit)也称门控循环单元结构,它也是传统RNN的变体,同LSTM一样能够有效捕捉长序列之间的语义关联,缓解梯度消失或爆炸现象。同时它的结构和计算要比LSTM更简单,它的核心结构可以分为两个部分去解析

  • 更新门
  • 重置门

GRU的内部结构图和计算公式:
自然语言处理(十一):GRU模型_第1张图片

结构解释图:
在这里插入图片描述

GRU的更新门和重置门结构图:
自然语言处理(十一):GRU模型_第2张图片

内部结构分析:

  • 和之前分析过的LSTM中的门控一样,首先计算更新门和重置门的门值,分别是 z ( t ) z(t) z(t) r ( t ) r(t) r(t) ,计算方法就是使用 X ( t ) X(t) X(t) h ( t − 1 ) h(t-1) h(t1) 拼接进行线性变换,再经过 s i g m o i d sigmoid sigmoid 激活,之后重置门门值作用在了 h ( t − 1 ) h(t-1) h(t1) 上,代表控制上一时间步传来的信息有多少可以被利用,接着就是使用这个重置后的 h ( t − 1 ) h(t-1) h(t1) 进行基本的RNN计算,即与 x ( t ) x(t) x(t) 拼接进行线性变化,经过 t a n h tanh tanh 激活,得到新的 h ( t ) h(t) h(t) ,最后更新门的门值会作用在新的 h ( t ) h(t) h(t) ,而 1 − 1- 1 门值会作用在 h ( t − 1 ) h(t-1) h(t1) 上,随后将两者的结果相加,得到最终的隐含状态输出 h ( t ) h(t) h(t) ,这个过程意味着更新门有能力保留之前的结果,当门值趋于1时,输出就是新的 h ( t ) h(t) h(t) ,而当门值趋于0时,输出就是上一时间步的 h ( t − 1 ) h(t-1) h(t1)

Bi-GRU:

  • Bi-GRU与Bi-LSTM的逻辑相同,都是不改变其内部结构,而是将模型应用两次且方向不同,再将两次得到的LSTM结果进行拼接作为最终输出。具体参见前一篇文章中的Bi-LSTM

Examples:

  • GRU
import torch
from torch import nn

gru = nn.GRU(10, 20, 2)
input = torch.randn(5, 3, 10)
h0 = torch.randn(2, 3, 20)
output, hn = gru(input, h0)
>>> output.size()
torch.Size([5, 3, 20])
>>> hn.size()
torch.Size([2, 3, 20])
  • Bi-GRU
import torch
from torch import nn

gru = nn.GRU(10, 20, 2, bidirectional=True)
input = torch.randn(5, 3, 10)
h0 = torch.randn(2 * 2, 3, 20)
output, hn = gru(input, h0)
>>> output.size()
torch.Size([5, 3, 40])
>>> hn.size()
torch.Size([4, 3, 20])

GRU的优势:

  • GRU和LSTM作用相同,在捕捉长序列语义关联时,能有效抑制梯度消失或爆炸,效果都优于传统RNN且计算复杂度相比LSTM要小

GRU的缺点:

  • GRU仍然不能完全解决梯度消失问题,同时其作为RNN的变体,有着RNN结构本身的一大弊端,即不可并行计算,这在数据量和模型体量逐步增大的未来,是RNN发展的关键瓶颈

参考链接:https://pytorch.org/docs/stable/generated/torch.nn.GRU.html#torch.nn.GRU

你可能感兴趣的:(自然语言处理,自然语言处理,人工智能,nlp,深度学习,GRU)