总结CNN的发展历程，以及一些卷积操作的变形，附带基础的深度学习知识与公式

1.Lenet-5  ：最先出现的卷积神经网络，1998年，由于当时的硬件还不成熟，因此到了2012年出现了AlexNet

2.AlexNet：可以说是现在卷积神经网络的雏形

3.VGGNet：五个模块的卷积叠加，网络结构如下：

 

4.GoogleNet：inception v1,v2,v3, xception,基本思想就是对feature map用不同的卷积核filter进行卷积，然后concact，其中xception是对每个通道的feature map进行3×3的卷积，叫做通道分离卷积。

5.ResNet：分为building block，bottleneck都是叫做残差块，应为都有跳远连接，网络结构如下，主要也是五个大的模块：

6.DenseNet：主要思想是当前卷积层的输出feature map都要concact上一层的卷积输出，主要网络图如下：

7.一些好用的卷积操作：

1×1filter又叫通道卷积，可以实现bottleneck，改变通道数 。

3×3卷积，一般经典网络的卷积核大小，卷积前后图像大小保持不变，通道数翻倍，但一般会紧接着有池化操作，使得图像大小缩小为原来的1/2。

上采样：FCN网络中提到的上采样思想是先padding再卷积，或者先上池化再卷积。而FPN中的上采样是bilinear上采样。

通道concact：inception网络中的思想，让网络变胖

跳远连接：ResNet网络中的思想，让网络变长

随机分组卷积：对feature map的channel随机分组再进行卷积，ShuffleNet思想

通道加权卷积：SEnet的思想

空洞卷积：dilated conv，一个卷积点周围填0，让卷积变大，视野更广

网络多尺度的理解：不同的卷积核大小看到的图片的视野不一样

Label Smoothing Regularization（LSR）：是一种通过在输出y中添加噪声，实现对模型进行约束，降低模型过拟合（overfitting）程度的一种约束方法（regularization methed）。

ohem：ohem论文中提到的loss函数

focal loss：focal loss论文中提到的loss函数

softmax：

softmaxloss（cross entropy）：

sigmoid：