【无标题】

---

前言

• 用于处理序列数据的神经网络
  语音，视频，文字
• 应用领域
  自然语言处理NLP
  机器翻译
  语音识别
  图像描述生成

提示：以下是本篇文章正文内容，下面案例可供参考

一、基本结构

RNN公式

RNN特点

• 权值共享，图中的W全是相同的，U和V也一样。
• 每一个输入值都只与它本身的那条路线建立连接，不会和别的神经元连接

RNN种类

• 一对一结构
• 普通神经网络
  
  
• 多对多
• 词性标注

• 一对多
• 音乐生成和文章生成
  
• SeqToSeq
• 机器翻译
  

双向RNN网络(BRNN)

He is Tom Wody,one human
He is Tom cat,one animal。

• 公式

堆叠循环神经网络

传统RNN缺点

记忆时间短

梯度消失和梯度爆炸

• 我爱北京天安门，____上太阳升
• 我昨天上学迟到了，老师批评了____，
• 我出生在美国，父母都是亚洲人，我爱好篮球，我能说一口流利的______

长短时记忆网络 LSTM

LSTM的变种

Peephole LSTM

门控循环单元 GRU

门控循环单元 GRU

• 更新门：遗忘门和输入门合并，决定了哪些信息丢失输入哪些信息保留，捕捉长期依赖关系
• 重置门：将记忆单元和隐藏层合并，决定了过去的信息有多少保留下来，捕捉短期依赖关系
  

三、示例代码

https://github.com/anglersking/simple_deep_learning/tree/master/RNN