动画版RNN、LSTM和GRU计算过程

公众号关注 “视学算法

设为“星标”,第一时间知晓最新干货~

动画版RNN、LSTM和GRU计算过程_第1张图片辑 | Python遇见机器学习

地址 | https://zhuanlan.zhihu.com/p/115823190

本文仅做学术分享,如若侵权,请联系后台删文处理

RNN常用来处理序列式问题,本篇采用动图的方式展示RNN的计算过程。最常见的3中RNN网络结构分别为:

  • vanilla RNN

  • long short-term memory (LSTM)

  • gated recurrent units (GRU)

下面是插图中使用的各个图例的说明

动画版RNN、LSTM和GRU计算过程_第2张图片

NOTE:动画展示的是在某个时刻(indexed by t)RNN cell 内部的处理,示例中input size=3,hidden units =2,batch size=1。

   Vanilla RNN

动画版RNN、LSTM和GRU计算过程_第3张图片

动画版RNN、LSTM和GRU计算过程_第4张图片
  • t--time step

  • X--input

  • h--hidden state

  • length of X--dimension of input

  • length of h--no. of hidden units

   LSTM

动画版RNN、LSTM和GRU计算过程_第5张图片

动画版RNN、LSTM和GRU计算过程_第6张图片
  • C--cell state


   GRU

动画版RNN、LSTM和GRU计算过程_第7张图片

动画版RNN、LSTM和GRU计算过程_第8张图片

原文链接:https://towardsdatascience.com/animated-rnn-lstm-and-gru-ef124d06cf45

你可能感兴趣的:(动画版RNN、LSTM和GRU计算过程)