深度学习几种常见模型

深度学习几种常见模型

网络设计的目的：(1)减少参数量；(2)节省时间；(3)提高精度；

AlexNet
AlexNet是2012年被提出来的（ImagNet），网络有8层。
（1）使用了Relu作为激活函数，比sigmoig和tanh使用的激活函数收敛更快；
（2）使用了dropout随机删减神经原，防止过拟合。
（3）全部使用最大池化，避免平均池化带来的模糊影响，步长比卷积核小，重叠卷积，提取特征更充分，提取特征能力更强。
（4）引入了LRN(局部响应归一化层)，类似dropout的效果防止网络过拟合。
VGGNet
2014年ImageNet亚军，主要证明了网络层数越深，在一定的范围内网络的效果会得到提高。

（1）去掉了LRN，LRN在深层网络的训练中效果不大；
（2）使用了多个小的卷积核代替大的卷积核，比如使用两个3* 3的卷积核代替一个5* 5的卷积核，参数量更少了。
（3）使用更小的池化核。
缺点：计算量大，耗费太多的计算资源。
GoogleNet
2014年ImageNet的冠军，22层深度，但是大胆创新尝试了增加神经网络的宽度。

网络训练存在的一些问题：
（1）训练参数过多，容易产生过拟合；
（2）计算量大，不利于用于实际应用；
（3）网络层数深，容易产生梯度弥散，模型难以优化。
inception v1的结构：

使用1* 1，3* 3，5* 5，的卷积核去卷得到不同的特征图，然后使用cat将特征图拼接在一起。但是5* 5的卷积核参数仍然过多，就改进了，在5* 5的前面加上1* 1降低厚度。

（1）最后使用了平均池化代替全连接；
（2）参数减少为原来的4倍；
（3）为了避免梯度消失，额外增加了2个辅助的softmax分类，最终乘以0.3的权重，加到最终的分类结果中去，对网络的训练有裨益；
inceptionv2
(1)使用2个连续的小卷积核，代替大的卷积核；

（2）为了降低参数量又引入了如下的网络结构

网络结构：

incetionv3
（1）将7* 7的卷积核分解成两个（1* 7，7* 1）核，既加快了计算速度又加深了网络；
（2）每层都要进行relu激活，提高了网络的非线性能力；
（3）输入图片大小从224* 224 变成了229* 229。
inceptionv4
（1）将inceptionv3的结构与残差结构结合，既提高了网络的表达能力还提高了训练的速度；