浅析卷积神经网络的模型结构

早期的卷积神经网络由于数据量和硬件条件的限制，没有广泛的应用到各种任务中。之后的话，大数据时代的到来以及，卷积神经网络取得了爆发性的进展。产生了各种各样的卷积网络的模型，比如VGG、GoogLeNet等，它们的实验效果非常好，很多都刷新了各种标准数据集的精度。她的应用也拓展到了各类任务中，比如分割、分类、生成、重建等。

AlexNet

结构

网络结构：5卷积+3MaxPooling

激活：用ReLU代替tanh

使用了LRN函数。

采用了dropout函数。

总结

AlexNet可以看做是LeNet5的推广，在其基础上增加了卷积层和全连接通道，并且多次使用MaxPooling进行下采样，使网络可以处理224*224的大尺寸图片，再次证明了卷积神经网络的能力。

VGG

网络结构复杂，参数也很多。

结构

第一个卷积层没有使用11*11和7*7这样大的卷积核，使用的是3*3的。因为实验发现3个3*3的卷积核一个7*7的卷积核感受

差不多，但是参数少一半，更好计算。

GoogLeNet

GoogLeNet参数量是AlexNet的1/12,但是精度更高,Inception V1结构如下:

结构特点：

1*1卷积、3*3卷积、5*5卷积以及下采样，其中不同大小的卷积核可以提供不同大小的视野。b中的1*1卷积是为了减少参数。最后将所有的输出结合在一起。

Inception结构中每个卷积后都会经过ReLU激活。

之后还有Inception V2，V3，以及Inception-Residual等结构。

ResNet

在VGG的基础上提出shortcut连接，在某层的特征图加上其它层的特征图。这样可以让层数更深。多个分支采样加法的方式结合在一起。

DenseNet

将shortcut结构发挥到极致，提出了DenseBlock结构，即每个中间层的特征输出都会连接到后面的层的特征图中。多个方式采用级联（通道维度上拼接）的方式融合。

 

参考：

https://www.jianshu.com/p/3510872fb186

https://www.jianshu.com/p/00a53eb5f4b3

https://mp.weixin.qq.com/s/k9Nym4Wwsra0VFStpvoamg