CS231n_Lecture5_卷积神经网络

构成卷积神经网络（CNN）的基本层：

  1卷积层：

  

•        激活函数（sigmoid、tanh、relu.、Leaky Relu 、pRelu、Maxout...一般用后者多，不再用sigmoid）

       各个函数的优点和区别，详见：

      CS231n课程笔记翻译：神经网络笔记 1（上） | 课程原文

      https://blog.csdn.net/qq_37791134/article/details/82288321

   2池化层：

 作用：特征融合、降维

 无参数需要学习、超参数“尺寸（size）、步长（step）‘’

  计算机制：

•       平均池化（Average pooling）
•       最大化池化（Max pooling）
•       L2规范池化（这个不确定，请指正）

  3全连接层（Fully-connected layer）

       对于普通神经网络，最普通的层的类型是全连接层（fully-connected layer）。全连接层中的神经元与其前后两层的神经元是完全成对连接的，但是在同一个全连接层内的神经元之间没有连接。下面是两个神经网络的图例，都使用的全连接层：

     左边是一个2层神经网络，隐层由4个神经元（也可称为单元（unit））组成，输出层由2个神经元组成，输入层是3个神经元。右边是一个3层神经网络，两个含4个神经元的隐层。注意：层与层之间的神经元是全连接的，但是层内的神经元不连接。 

  4批量归一化（Batch Normalization layer）

  在标准卷积神经网络中经常用到，作用：可以处理每层internal covariate shfit 内部协变量转变的问题。在激活函数之前使用。

优点：

   （1）减少训练时间，使得很深的网络都可以用

    少的协变量转变，可使用较大的学习率

    少的梯度爆炸和消失（特别在sigmoid、tanh等激活函数中）

   （2）学习很少受到初始值的影响

   （3）减少过拟合的问题

     减少归一化的需要（如dropout）

    

具体看：https://blog.csdn.net/qq_37791134/article/details/81945620

视频：https://www.youtube.com/watch?v=BZh1ltr5Rkg  李毅宏老师

先放一张Batch Normaliztion的优点：

 

 

由卷积层、池化层、全连接层、BN组成但是不一定会全部，但是可能是由上面某几个组合而成。

CNN 发展：

•      AlexNet（12年，8层：5层卷积+3全连接层）
•     VGG（14年，19层，基层网络，作为高层应用基础性网络，对前基层微调，修改）
•    GoogleNet（14年，22层）： inceptionV1-V4

             split_transfrommerge

•      ResNet(15年，152层)： ResNet1024-ResNeXt

             深度、宽度、基数（cardinality）