循环神经网络RNN:简介、应用及学习大纲

最近有个比赛设计到了自然语言处理。所以先跳过《动手学深度学习》的卷积神经网络章节,进行循环神经网络章节的学习

一、简介

循环神经⽹络(recurrentneural networks)被设计⽤来更好地处理时序信息。它引⼊状态变量存储过去的信息,并与当前的输⼊共同决定当前的输出

二、应用

RNN常用于处理序列数据,比如:

  • 一段文字或声音
  • 购物或观影的顺序
  • 图像中的一行或一列像素

所以,RNN常常用于:

  • 语言模型
  • 文本分类
  • 机器翻译
  • 语音识别
  • 图像分析
  • 手写识别
  • 推荐系统

本次学习的重点是:语言模型

三、学习大纲

  1. 介绍语言模型基本概念,并由该问题激发RNN的设计灵感
  2. 描述RNN的梯度计算方法,从而探究RNN训练可能存在的问题
  3. 对于其中某些部分,介绍含门控的RNN
  4. 拓展RNN的架构,比如双向循环神经网络

你可能感兴趣的:(深度学习)