(1)与最早的卷积神经网络LeNet相比,AlexNet的层数更深,共有7层,并且使用ReLU作为非线性激活函数
(2)使用dropout对抗过拟合
(3)使用max-pooling下采样
(1)与AlexNet相比,VGG的层数更深,最高达到19层,可以增强网络的非线性表达能力
(2)与AlexNet相比,VGG使用更小的卷积核。VGG大量使用3×3的卷积,将多个3×3卷积排列起来形成一个卷积序列,该卷积序列与大卷积核具有相同的感受野,并具有更少的参数
GoogLeNet有很多版本,包括Inception v1,v2,v3等,后者大多是对v1的改进
(1)Inception v1采用模块化的结构,每一模块以上一模块的输出作为输入。对输入分别进行1×1、3×3、5×5的卷积以及 3×3的max pooling后,将四路分支通过并联(Concat)融合起来。并且在3×3和5×5的卷积之前,先进行1×1的卷积进行降维,以减少计算复杂度,去除特征冗余,并且3×3max pooling后也进行1×1卷积,以提升网络非线性表达能力。
(2)Inception v1使用多种大小的卷积核,意味着多种不同大小的感受野,最后的拼接意味着多尺度特征的融合,从而提高网络表达能力。
(3)未来防止梯度消失,Inception v1除了在网络最后使用softmax之外,还在中间层使用额外的两个辅助softmax反传梯度
(4)网络的最后使用全局平均池化代替全连接,减少了参数数量
(1)在v1的基础上增加了Batch Normalization
(2)使用两个3×3卷积代替5×5卷积
(1)把n×n卷积分解为一个1×n卷积核一个n×1卷积,进一步缩减参数量
(2)输入图像大小由224×224放大至299×299
(1)研究了 Inception Module 结合 Residual Connection,结合 ResNet 可以极大地加速训练,同时极大提升性能,在构建 Inception-ResNet 网络同时,还设计了一个更深更优化的 Inception v4 模型,能达到相媲美的性能
(1)ResNet的最大特点是网络层数大大加深,由前面的十几层可以加深至50层(ResNet-50)101层(Reset-101)甚至上千层
(2)ResNet提出residual结构,使用跳层连接对抗过拟合,residual结构进行特征汇聚时使用相加操作(Eltwise-sum)
(3)ResNet也使用1×1卷积进行降维,使用全局平均池化代替全连接,减小参数量和计算复杂度
(1)DenseNet使用模块化结构,网络可以分为多个denseblock,denseblock之间使用transition layer相连,transition layer对dense block的输出进行处理,防止网络过于庞大
(2)denseblock内,每层都以前面所有层的输出作为输出,以防止梯度消失,加强特征传递,更有效地利用特征
(3)DenseNet与ResNet相比,二者在特征融合时存在不同,DenseNet使用Concat操作,ResNet使用Eltwise操作
(1)MobileNets基于一种流线型结构使用深度可分离卷积来构造轻型权重深度神经网络,核心部件就是深度可分离卷积
(2)MobileNet是一种基于深度可分离卷积的模型,深度可分离卷积是一种将标准卷积分解成深度卷积以及一个1x1的卷积即逐点卷积
(3)深度卷积针对每个单个输入通道应用单个滤波器进行滤波,然后逐点卷积应用1x1的卷积操作来结合所有深度卷积得到的输出
(4)对深度卷积,它的卷积核厚度不是输入张量的通道数,而是1,输出通道就是卷积核数目。经典卷积的卷积核厚度默认是图片的通道数
(5)可分离卷积tf内置函数:tf.layers.separable_conv2d
(1)Mobilenet V2实在Mobilenet V1的基础上发展而来,V2 主要引入了两个改动:Linear Bottleneck 和 Inverted Residual Blocks。两个改动分别对应V1和Resnet
(2)MobileNetV1遗留的问题
(3) 对比 MobileNet V1 与 V2 的微结构
(4) 对比 ResNet 与 MobileNet V2 的微结构
论文地址:https://arxiv.org/pdf/1905.02244.pdf
(1)具体的内容可以看论文,这里我只是重点说明其中的激活函数改进(swish/h-swish)和网络结构改进(bneck)
(2)激活函数:作者发现一种新出的激活函数swish x 能有效改进网络精度
Squeeze excitation layer是引入基于squeeze and excitation结构的轻量级注意力模型SENet
论文:《Squeeze-and-Excitation Networks》
论文链接:https://arxiv.org/abs/1709.01507