八 动手学深度学习v2 ——卷积神经网络之卷积+填充步幅+池化

  1. 图像卷积总结
  • 二维卷积层的核心计算是二维互相关运算。最简单的形式是,对二维输入数据和卷积核执行互相关操作,然后添加一个偏置。
  • 核矩阵和偏移是可学习的参数
  • 核矩阵大小是超参数
  1. 填充和步幅 padding和stride
  • 填充:
    在应用多层卷积时,我们常常丢失边缘像素。 由于我们通常使用小卷积核,因此对于任何单个卷积,我们可能只会丢失几个像素。 但随着我们应用许多连续卷积层,累积丢失的像素数就多了。 解决这个问题的简单方法即为填充(padding):在输入图像的边界填充元素(通常填充元素是0)。
  • 步幅:
    在计算互相关时,卷积窗口从输入张量的左上角开始,向下、向右滑动。 在前面的例子中,我们默认每次滑动一个元素。 但是,有时候为了高效计算或是缩减采样次数,卷积窗口可以跳过中间位置,每次滑动多个元素。
  • 总结:
    • 填充和步幅是卷积层的超参数
    • 填充在输入周围添加额外的行/列,来控制输出形状的减少量。
    • 步幅是每次滑动卷积核的行/列的步长,可以成倍的减少输出的形状。
  1. 多输入多输出通道
    总结:
  • 输出通道数是卷积层的超参数
  • 每个输入通道有独立的二维卷积核,所有输入通道结果相加一个输出通道结果
  • 每个输出通道 有 独立的三维卷积核
  1. 池化层
  • max-pooling
  • average-pooling
    总结:
  • 池化层返回窗口中的最大或者平均值
  • 缓解卷积层对位置的敏感性
  • 同样有窗口大小、填充、和步幅作为 超参数
    为什么池化层用的少了
    池化层有两个作用
  1. 减少计算,如果用到stride>1,如果stride放在卷积,池化这个功能就没了。
  2. 缓解卷积层对位置的敏感性,但是我们会对数据本身做一些操作,放大,旋转,缩小,这样淡化了池化层的作用。

你可能感兴趣的:(动手学深度学习,深度学习,cnn,人工智能)