GRU门控循环单元

GRU
视频链接

https://www.bilibili.com/video/BV1Pk4y177Xg?p=23&spm_id_from=pageDriver&vd_source=3b42b36e44d271f58e90f86679d77db7

GRU门控循环单元_第1张图片
Zt—更新门
Rt—重置门
控制保存之前一层信息多,还是保留当前神经元得到的隐藏层的信息多。
GRU门控循环单元_第2张图片

GRU门控循环单元_第3张图片
Bi-GRU
GRU门控循环单元_第4张图片
GRU比LSTM参数少

GRU代码

GRU门控循环单元_第5张图片
GRU门控循环单元_第6张图片

GRU门控循环单元_第7张图片
GRU的优势和缺点
GRU门控循环单元_第8张图片
transformer直接把不可并行的问题解决了

你可能感兴趣的:(Pytorch,NLP,深度学习方法智能合约漏洞检测,gru,深度学习,人工智能)