深度学习（三）--卷积

卷积神经网络

链式反向梯度传导

• 链式法则:
  y = f(x), z = g(y)
  z对x求导，就是z对y，y对x
• 神经网络中链式法则
• 计算顺序
  从loss向输入传播
• 导数存储
  每层的倒数结果进行存储，用于下一层导数的计算

卷积层

• 什么是卷积层
  卷积神经网络基本结构
  有多个卷积核组成
  每个卷积核同输入数据卷积运算，形成新的特征图
• 有什么组成
  卷积核：
  同输入数据进行计算的二维（一维、三维）算子
  大小用户定义，深度-输入数据定义
  卷积核矩阵值：卷积神经网络的参数
  卷积核初始值随机生成，通过单向传播更新
  H= (H - F + 2P) / S
  卷积核的关键参数：
  奇偶选择：一般奇数，满足对称
  大小选择：根据输入数据，根据图像特征
  厚度确定：与输入数据一致
  覆盖范围：一般覆盖全部输入，特殊情况 覆盖局部区域
  边界扩充(pad)：在卷积计算过程中，为了允许边界上的数据也能作为中心参与卷积运算，将边界假装延伸
  扩充目的：确保卷积后特征图尺度一致
  确定方法：卷积核的宽度2i＋1， 添加pad宽度为i
  卷积核数目(kernel number)：卷积神经网络的“宽度” ，常见参数 64，128，256，GPU 并行更加高效。
• 卷积网络
  正向传播
  反向传播
• 功能层
  非线性激励：卷积是线性运算，增加非线性描述能力，ReLU
  降维：
  特征图稀疏，减少数据运算量，保持精度
  归一化：
  特征的scale保持一致
  Batch Normalization (BN) 批量归一化：
  原因：特征数 Scale不一致
  好处：加速训练,提高精度
  近邻归一化(Local Response Normalization)：
  与BN的区别：
  BN依据mini batch的数据，近邻归一仅需要自身
  BN训练中有学习参数
  区域分割：
  某些应用中，希望独立对某些区域单独学习
  学习多套参数
  更强的特征描述能力
  区域融合：
  对独立进行特征学习的分支进行融合，构建高效而精简的特征组合
  Google Inception module. GoogleLeNet 的基本模块 用多种分辨率对目标特征进行学习之后进行多分辨率特征的融合
  级连－concatenation：
  不同输入网络特征简单叠加
  合并－运算融合 形状一致的特征层，通过 （＋，－，x，max，conv） 运算，形成形状相同的输出
  增维：
  增加图片生成或探测任务中空间信息
  池化层(Pooling layer)：
  数据降维，方便计算，存储 (max, ave)
  池化过程中，每张特征图单独降维