OpenMMLab AI 实战营 Day 2 图像分类

文章目录见结尾

图像分类发展

传统方法(手工特征+机器学习分类) —> 深度学习(网络自主学习特征表达+分类)

分类深度学习相关网络

CNN、Transformer、GNN等

视觉基础模型的发展

CNN相关网络

AlexNet

VGG和GoogLeNet

提出的原因
添加网络层数可以直接反应到精度上，网络层数越深，精度越高。
改进点
VGG使用2个3x3的卷积来取代5x5的卷积，两者的感受野相同但是参数更少。
GoogLeNet提出了Inception模块，使用单层全连接进行分类，减少参数。

ResNet

提出的原因

在模块堆叠到一定程度之前，普遍认为网络深度更深效果至少会与浅层网络一致，即卷积层变化为恒等映射时，深层网络与浅层网络应相等。然而当时常规的优化算法无法使得卷积层拟合成一个恒等映射，此时模块堆叠带来的反而是精度下降。因此提出了全新的学习范式——残差学习。

改进点
提出了残差模块，使得网络可以继续加深并work。
提出了bottleneck block，在保证精度的情况下来减少参数与计算开销。
基于resnet的后续改进

NAS搜索(NASNet/MnasNet/EfficientNet/RegNet等)

提出原因：
使用机器来搜索模型结构

ConvNeXt

使用卷积完成了对transformer的反超(封面图堪称调参宝典)

Transformer相关网络

Vision Transformer

提出原因
认为Transformer结构在NLP领域霸榜、在CV领域应当也会work
贡献
将transformer引入cv领域、开创了cv transformer这一大流派。

Swin Transformer

提出原因
vit工作的成功，但是对效果并不满意，而且对图像进行全局建模计算量过大，同时认为CNN的结构在视觉领域具有优势。
改进点
提出了一个层级式的Transformer网络，将图片划分成不同的window，仅在window内计算注意力，减少计算量。同时使用W-MSA和SW-MSA来进行窗口间的交互
推荐讲解blog

GNN相关

VisionGNN

为了减少计算量提出的各种各样的卷积模块

原始卷积

Inception模块

Bottleneck Block

可分离卷积

代表工作：MobileNet V1/V2/V3

分组卷积

注意力机制

实现方式

多头注意力

模式学习范式

监督学习

无监督学习

一些训练Trick

warm_up

Linear_Scaling_Rule

Early Stopping

权重平均EMA

数据增强

Mixup、CutMix

Label Smoothing标签平滑

常见自监督学习类型

基于代理任务

基于对比学习

基于掩码学习

总结