经典的CNN模型

0 写在前面

参考资料：

1. 网易云课堂吴恩达深度学习
2. 《深度学习》花书
3. 深度学习应用开发，浙江大学城市学院，网易云课堂

1 过时但仍有价值的CNN模型

1.1 LeNet-5

conv-pool-conv-pool-fc-fc-output

以sigmoid/tanh作为激活函数。

1.2 AlexNet

采用Relu作为激活函数。
开始使用GPU来训练。
LRN。

1.3 VGGNet/VGG-16

2 经典CNN模型

2.1 ResNet（Residual Network，残差网络）

2.1.1 捷径连接（shortcut connections）

捷径连接这种算法可以保证神经网络层数的增加，其训练难度只会小幅增加，而准确率只会只增不减，理由如下图所示，在激活函数为Relu的情况下，当新增的两层神经网络没学到东西时（即w，b=0），只不过是把$a^{[l]}$赋值给$a^{[l+2]}$。

当维数不同时，在$a^{[l]}$前乘一个矩阵就可以改变维度了，例如当池化之后需要改变维数。

2.2 Inception网络（GoogleNet）

2.2.1 Inception网络基本思想

Inception网络的最大好处是不需要人为的指定filter以及是否需要池化，而是由参数学习来的结果决定。基本思想如下图

2.2.2 使用1*1的filter减少计算成本

以$5\ast 5$的filter卷积为例，大约共需要计算1.2亿次。

在中间利用$1\ast 1$的filter卷积后，可以发现计算成本大约减少到了原来的十分之一。

2.2.3 最终的Incerption网络