第四周:卷积神经网络Part3

第四周:卷积神经网络Part3

视频学习:循环神经网络

1.绪论

  • 循环神经网络的基本应用:
    语音问答、机器翻译、股票预测、作词机、作诗、图像理解、视觉问答等;
  • 循环神经网络与卷积神经网络:
    循环神经网络:处理时序关系的任务;
    卷积神经网络:输入与输出之间是相互独立的;

2.基本组成结构

  • 基本结构:两种输入、两种输出、一种函数

第四周:卷积神经网络Part3_第1张图片

  • f被不断重复利用;

  • 模型所需要学习的参数是固定的;

  • 无论我们的输入长度是多少,我们只需要一个函数f;

  • 深度RNN

第四周:卷积神经网络Part3_第2张图片

  • 双向RNN

第四周:卷积神经网络Part3_第3张图片

  • 小结

  • 隐藏层状态h可以被看作是“记忆”,因为它包含了之前时间点上的相关信息;

  • 输出y不仅由当前的输入所决定,还会考虑到之前的“记忆”,有两者共同决定;

  • RNN在不同时刻共享同一组参数( U,W,V ),极大的减小了需要训练和预估的参数量;

  • BPTT算法

总损失为每一时刻的损失和;
第四周:卷积神经网络Part3_第4张图片

3.循环神经网络的变种

  • 传统RNN的问题

  • 梯度消失 -> 长时依赖问题 -> 改进模型,LSTM、GRU

  • 梯度爆炸 -> 模型训练不稳定 -> 权重衰减,梯度截断

  • LSTM:Long Short-term Memory

第四周:卷积神经网络Part3_第5张图片

  • LSTM 有三个门(遗忘门,输入门,输出门),来保护和控制细胞状态;

    • 遗忘门:决定丢弃信息;
    • 输入门:确定需要更新的信息;
    • 输出门:输出信息;
  • RNN 与 LSTM 的不同:

    • 处理方式不同(RNN:tanh;LSTM:求和);
    • RNN 的“记忆”在每个时间点都会被新的输入覆盖,但 LSTM 中“记忆”是与新的输入相加;
    • LSTM:如果前边的输入对 Ct 产生了影响,那这个影响会一直存在,除非遗忘门的权重为0;
  • 小结:

    • LSTM实现了三个门计算:遗忘门,输入门,输出门;
    • LSTM的一个初始化技巧就是将输入门的 bias 置为正数(1或5)这样模型刚开始训练时 forget gate 的值接近于 1 ,不会发生梯度消失;
    • LSTM 运算复杂 -> 解决:GRU;
  • GRU:Gated Recurrent Unit

第四周:卷积神经网络Part3_第6张图片

  • 差异:

    • GRU 只有两个门,分别为重置门和更新门;
    • 混合了细胞状态和隐藏状态;
    • 重置门:控制忽略前一时刻的状态信息的程度,重置门越小说明忽略的越多;
    • 更新门:控制前一时刻的状态信息被带入到当前状态的程度,更新门值越大表示前一时刻的状态信息带入越多;
  • 相似:

    • 从t-1到t的时刻的记忆的更新都引入加法;
    • 可以防止梯度消失;

3.扩展

  • 解决RNN梯度消失的其他方法

    • Clockwise RNN
  • Attention

    • 使得所关注的信息权重大一些

你可能感兴趣的:(第四周:卷积神经网络Part3)