卷积神经网络综述

卷积神经网络综述

原理

原理参考1
原理参考2

相关模型

模型	年代	特点	结构	概念	相关代码
LeNet-5	90年代	LeNet-5 也能使用反响传播算法（backpropagation） ]训练 ，三种类型的神经网络层		卷积层 ,池化层,池化层.1、卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，2、全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用
AlexNet	2012	1、使用了非线性激活函数ReLu与Dropout方法2、由五层卷积和三层全连接组成，输入图像为三通道224x224大小，网络规模远大于LeNet 3、使用了Dropout，可以作为正则项防止过拟合，提升模型鲁棒性
ZFNet		1、对AlexNet的改进首先在第一层的卷积核尺寸从11x11降为7x7，2、将卷积时的步长从4降至2。 3、这样使中间的卷积层扩张从而可以捕捉到更多的信息。
VGGNet	2014	网络的深度扩展到了19层，并且在每个卷积层使用了3x3这种小尺寸的卷积核。结果证明深度对网络性能有着重要影响
GoogleNet	2015	增加了网络的宽度与深度，并且相比于更窄更浅的网络，其在没有明显增多的计算量的情况下使网络性能明显增强。			参考分析
ResNet	ILSVRC 2015冠军	层数变得更多， ResNet是 AlexNet的20多倍，是 VGGNet的8倍多，增加深度，网络便能够利用增加的非线性得出目标函数的近似结构 ， ResNet通过引入shortcut直连来解决梯度消失
DenseNet		每一层输出都直连到后面的所有层，可以更好地复用特征，每一层都比较浅，融合了来自前面所有层的所有特征，并且很容易训练
ResNeXt	2017	左边为普通的resnet结构，而右边为ResNeXt提出的结构，有点像inception+resnet。但是inception最后是拼接，而这里是加，各个通道也是一模一样的（很方便之后特征图相加）。 而ResNeXt和ResNet的主要区别就在于group操作
DPN		融合了ResNeXt和DenseNet的核心思想。分成左右两个部分，第一部分类似DenseNet（因为加入了分组卷积，所以说是类似），第二部分是ResNeXt，对与中间的shortcut部分，由左右两部分的特征图经过1x1卷积相加，然后经过3x3卷积，和1x1的卷积（这就是resnet的shortcut部分），然后对获取的特征图分成两部分，一部分和左边类DenseNet对应特征图拼接，另一部分与右边ResNeXt的特征图进行相加

层	目的	特点
卷积层	池化层是CNN的重要组成部分，通过减少卷积层之间的连接，降低运算复杂程度
池化层		Lp 池化：Lp池化是建立在复杂细胞运行机制的基础上，受生物启发而来
		混合池化：受随机Dropout [16] 和 DropConnect [28], Yu et al.启发而来
		随机池化：随机循环 [30] 是受 dropout启发而来的方法
		Spatial pyramid pooling：空间金字塔池化[26]可以把任何尺度的图像的卷积特征转化成相同维度，这不仅可以让CNN处理任意尺度的图像，还能避免 cropping和warping操作，导致一些信息的丢失，具有非常重要的意义

应用场景	应用模型
图像分类
物体检测
物体追踪
姿态估计
文本检测
视觉显著检测
动作识别和场景标签

加速训练进程

方法	概述
SGD算法

##问题

如何选择合适的超参数？比如学习率、卷积过滤的核大小、层数等等