基于深度学习的图像分类——经典论文

图像分类

经典卷积神经网络

早期卷积神经网络

2012年，AlexNet，早期的深度卷积神经网络。

2013年，NIN，更少的参数，更高的准确率。

2014年，ZFNet，使用了反卷积可视化特征图。

2014年，OverFeat，实现定位和检测。

2015年，VGGNet，堆叠采用 3×3 较小的卷积核。

2015年，highway network，使用门控单元调节信息流，抑制网络的梯度消失问题

2015年，GooleNet，采用 Inception 模块，稀疏连接，降低模型参数量。

2016年，GoogleNetv4，提出 Inception-ResNet 结构。

ResNet 家族

2016年，ResNet，提出残差卷积神经网络，进一步加深网络，提高图像分类性能。

基于深度残差网络优化的残差网络变体

2016年，新的残差单元，使得网络更易训练，性能更好。

2016年，WResNet，加权残差网络，所有残差权重都初始化为 0 ，以很小的学习率进行优化， 收敛更快。

2016年，使用随机深度训练残差网络，缓解在ResNet 特征图通道数加倍下，删除残差单元中带有下采样的构建块会极大降低模型分类准确率的情况。

2017年，金字塔残差网络，网络中每个残差单元的通道数逐步增加，以将受下采样影响而集中分布在单个残差单元上的压力分布在所有残差单元上。

2016年，基于分离随机深度算法的深度金字塔残差网络模型，将 SD-ResNet 和 PyramidalNet 合并。

2018年，RoR，假设残差映射易于优化，则残差映射的残差映射更易于优化，在 ResNet 基础上逐级加入越层连接，构建多级残差卷积神经网络，使高层特征可以向低层传递，进一步抑制梯度消失问题。

2019年，金字塔多级残差卷积神经网络。

采用新的训练方法的残差网络变体

非常深的网络：巨大挑战，反向传播中的梯度消失问题、前向传播中的特征重用以及网络训练耗时长等问题。

2016年，新的训练方法，集成学习思想，模型训练时以一定概率随机丢弃不同的残差块，每次迭代训练较浅的子网络，测试时采用完整的深网络，缩短训练时间，提升分类准确率。

2016年，Swapout，新颖的随即训练方法，将 Dropout、随机深度等训练方法结合。较宽但较浅的 Swapout 网络可达到深度残差网络的性能。

2016年，卷积残差记忆网络，采用深度残差网络为基础网络，使用 LSTM 内存操作和算法架构的内存结构对网络进行训练。

基于增加宽度的残差网络变体

ResNet 中的恒等映射导致不同特征的混合连接，然而在深度网络中，前部层学习的特征可能不再对后部层提供有用的信息。

2016年，Resnet in Resnet，广义的残差结构，RiR 网络在 Cifar10 上有竞争力的结果。

2016年，WRN，宽残差网络，降低了网络深度，性能远超相同层数的残差网络。

可通过组合指数分布的、不同深度的网络来解决梯度消失问题——增加网络的多重性。

2017，Multi-ResNet，增加每个残差块中残差函数的数量，保持深度不变下，增加网络多样性——增加残差块中残差函数的数量比增加网络深度性能更好。

采用新维度的残差网络变体

2017年，PolyNet，用 Inception 模块代替残差单元， 推广了 inception residual 单元，构建了 PolyInception 模块，增加了结构多样性，增强了残差组件的表达能力。

2017年，ResNeXt，通过重复聚合一系列具有相同拓扑结构的构建块来构建，提供了一个新维度——基数，相比于增加深度和宽度，增加基数是一种更有效的获取精度提升的方法。

多尺度特征表示在分类任务重很重要。
2021年，Res2Net，在更细粒度层次上提高了多尺度表征能力。

DenseNet 家族

2017年，DenseNet，使用了一种简单的连接模式，将所有层直接相连。

研究 DenseNet 路径连接的方式，提出了一系列 DenseNet 变体。

2017年，DualPathNetwork，双路径网络，ResNet 可增强特征重用， DenseNet 支持特征探索， 受益于这两种拓扑结构。

2018年，CliqueNet，将迭代机制发挥到极致，更密集的连接。

当前层的特征不被后部层所需要时，网络产生了冗余。
2018年，ConDenseNet，训练时，学习分组卷积删除多余特征所对应层间的连接以使网络变得系数，测试时，使用标准的分组卷积来实现。实验表明，ConDenseNet 比当时最先进的紧凑型卷积网络更有效，可应用于移动设备。

使用注意力机制的卷积神经网络

2017年，残差注意力网络，通过堆叠多个注意力模块来构建。

2018年，SE block，专注于通道关系，提出了挤压激励模块。

2019年，SK block，在 SE 模块基础上进行改进，混合了两种不同大小的卷积核，获得了不同感受野的特征信息。

轻量级网络

2016年，SqueezeNet，由 fire module 组成。

2017年，MobileNetV1，针对嵌入式和移动应用，深度可分离卷积。
后续的 MobileNetV2、V3.

2018年，ShuffleNetV2，轻量级 CNN 网络。