深度学习之卷积神经网络

卷积神经网络（CNN ）复习

寒假后之前学习的东西有些遗忘，故写文章顺便温习一下以前的知识，本文非讲解文章，只写了些遗忘的东西，有错误请指正，谢谢。

1.区别
卷积神经网络和传统神经网络区别

传统神经网络输入是一个向量，一维数据。

卷积神经网络输入的是三维长方体矩阵，H* W *3，高度 * 宽度 * 3通道，或者行数 * 列数 * 3通道。
不同的输入导致神经网络的权重参数不一样，输出的结果也不一样。

2.结构

一般CNN有四层结构
输入层，即输入三通道图像
卷积层，对上一层的结果卷积运算，提取特征
池化层，对上一层结构进行池化，压缩特征
全连接层，“分类器”的作用

3.卷积层
第一层
输入的数据为三通道（RGB），核卷积的通道数要与输入一致，即三通道（W为列数，H为行数，N1为第一层卷积核个数，卷积核总参数就是WH3*N1，一般会权值共享，即每层都是一样的，则参数就是W *H *N1），卷积后得到不同颜色通道的特征，然后进行加法操作，最终形成一个feature map。有多少个卷积核就有多少个提取的feature map。

一般卷积后会加一个激活函数（Sigmoid、Tanh和ReLU等等）。

第二层
输入的数据通道数为N1，卷积核的通道数也是N1，卷积核个数为N2（卷积核总参数WHN2，权值共享）。

卷积结果计算公式

池化层
压缩特征，常见的最大池化，平均池化。

全连接层
本质是卷积，不过最后输出的·是一维数据，常用于连接softmax。
例如VGG网络中最后一层卷积可得输出为7x7x512，如后层是一层含4096个神经元的FC，则可用卷积核为7x7x512x4096的全局卷积来实现这一全连接运算过程。

AlexNet

Vgg
这个视频讲得挺好的
B站VGG视频

1. 16层网络，13层卷积，3层全连接。
2. 全部使用3x3的卷积核，两个3x3代替5x5，三个3x3代替7x7，反推后感受野一样，但需要更新参数减少，计算量减少。
3. 卷积层不改变feature map大小，只改变深度，池化层不改变feature深度，只改变大小。
4. 前两层全连接层有激活函数，最后一层没有，连接softmax。

GoogleNet

也称Inception

1. 一共22层，深度增加（网络层数增加）且使用了Inception模块，用来增加网络深度
2. 相比于之前网络（Alexnet），网络层数增加了，但参数却减少了
3. 不同卷积核提取不同尺度的特征，为了使提取后的feature map尺度一样，利用padding
4. 卷积后对特征图进行拼接
5. 使用1x1卷积，可以减少计算量和训练参数；网络深度更加深，增加了非线性性
6. 全连接层换成平均池化top-1精确度增加了%0.6
7. 增加了辅助分类器。因为层数增加，临近输入层的网络参数调节会比较难，辅助分类器可以有效调节这些层的参数，论文中权值占0.3
8. 学习率每训练8个周期减少%4
9. 图片预处理较复杂，一张图片可以四个方向旋转，每个旋转图像左中右（上中下）提取三个部分，每个部分四角和中间以及resize分出6个部分最后每个数据在镜像则一张图片可提供4x3x6x2=144个数据集。
10. List item

Resnet

1. 152层网络
2. 退化现象：层数越多，结果会越差
3. resnet设计残差单元

不同层特征

DenseNet

SENet

BN
增加学习率
减少Dropout的使用
减少正则化的使用
加速学习率的衰减
去除局部响应归一化（一种归一化的方法）
训练集的样本更加打乱

1x1卷积核作用：
增加了非线性性
减少了计算量，权值更新减少

U-net