ResNet

一、前言:

  1. 在训练时,为什么随着网络深度的增加,会出现错误率更高的情况呢?
    • 梯度消失、梯度爆炸现象
      • 假设梯度<1的时候,在反向传播时,导致越乘越小,逐渐趋近于0
      • 假设梯度>1的时候,在反向传播时,导致越乘越大
    • 退化问题
      • 残差结构来解决退化问题

二、Residual结构

1、残差结构初步

  1. 低层的神经网络
    ResNet_第1张图片
    1. 输入:channel是64,3*3的卷积核,个数为64个。
    2. 主分支与shortcut的输出特征矩阵shape必须相同。
  2. 高层的神经网络

ResNet_第2张图片
1. 第一个卷积层:降维度,将256->64
2. 第二个卷积层:进行卷积
3. 第三个卷积层:升维度,将64->256

2、分析残差结构

  1. 这里的实线代表输入和输出的shape不变ResNet_第3张图片
  2. 下采样:这里的虚线代表输入和输出的shape发生了改变ResNet_第4张图片
    1. 通过stride=2,使得高度变为原来的一半,通过使用128个卷积核,来使得深度变为原来的二倍
    2. shortcut分支使用1*1的卷积核改变了深度,从而保证了主分支与shortcut分支的shape相同,从而可以相加。

3、论文中针对不同的layer的参数

  1. 不同层次的参数设置ResNet_第5张图片

你可能感兴趣的:(从零开始学深度学习,深度学习,机器学习,概率论)