深度学习几种常见模型

深度学习几种常见模型

网络设计的目的:(1)减少参数量;(2)节省时间;(3)提高精度;

AlexNet
AlexNet是2012年被提出来的(ImagNet),网络有8层。深度学习几种常见模型_第1张图片
(1)使用了Relu作为激活函数,比sigmoig和tanh使用的激活函数收敛更快;
(2)使用了dropout随机删减神经原,防止过拟合。
(3)全部使用最大池化,避免平均池化带来的模糊影响,步长比卷积核小,重叠卷积,提取特征更充分,提取特征能力更强。
(4)引入了LRN(局部响应归一化层),类似dropout的效果防止网络过拟合。
VGGNet
2014年ImageNet亚军,主要证明了网络层数越深,在一定的范围内网络的效果会得到提高。
深度学习几种常见模型_第2张图片
(1)去掉了LRN,LRN在深层网络的训练中效果不大;
(2)使用了多个小的卷积核代替大的卷积核,比如使用两个3* 3的卷积核代替一个5* 5的卷积核,参数量更少了。
(3)使用更小的池化核。
缺点:计算量大,耗费太多的计算资源。
GoogleNet
2014年ImageNet的冠军,22层深度,但是大胆创新尝试了增加神经网络的宽度。
深度学习几种常见模型_第3张图片
网络训练存在的一些问题:
(1)训练参数过多,容易产生过拟合;
(2)计算量大,不利于用于实际应用;
(3)网络层数深,容易产生梯度弥散,模型难以优化。
inception v1的结构:
深度学习几种常见模型_第4张图片
使用1* 1,3* 3,5* 5,的卷积核去卷得到不同的特征图,然后使用cat将特征图拼接在一起。但是5* 5的卷积核参数仍然过多,就改进了,在5* 5的前面加上1* 1降低厚度。
深度学习几种常见模型_第5张图片
(1)最后使用了平均池化代替全连接;
(2)参数减少为原来的4倍;
(3)为了避免梯度消失,额外增加了2个辅助的softmax分类,最终乘以0.3的权重,加到最终的分类结果中去,对网络的训练有裨益;
inceptionv2
(1)使用2个连续的小卷积核,代替大的卷积核;
深度学习几种常见模型_第6张图片
(2)为了降低参数量又引入了如下的网络结构
深度学习几种常见模型_第7张图片
网络结构:
深度学习几种常见模型_第8张图片
incetionv3
(1)将7* 7的卷积核分解成两个(1* 7,7* 1)核,既加快了计算速度又加深了网络;
(2)每层都要进行relu激活,提高了网络的非线性能力;
(3)输入图片大小从224* 224 变成了229* 229。
inceptionv4
(1)将inceptionv3的结构与残差结构结合,既提高了网络的表达能力还提高了训练的速度;
深度学习几种常见模型_第9张图片

你可能感兴趣的:(深度学习)