OpenMMLab AI实战营笔记（二）

计算机视觉之图像分类算法基础

第二节课讲了一些深度网络的发展史，也讲了一些轻量级网络

VGG 使用小的卷积核替代一个大的卷积核，减少了参数的数量，而且感受野不变

亮点

1.引入了inception结构，可以融合不同尺度的信息

2.使用了1x1的卷积核进行降维以及映射处理

3.添加了两个辅助分类器帮助训练

4.丢弃了全连接层，使用平均池化层（大大减小了模型的参数）

RES-net

亮点

1.超深的网络结构

2.提出了residual模块

3.使用BN层加速训练，丢弃了dropout

残差结构有点机器学习中模型融合的味道在里面。（由浅到深的各个模型融合）

mobile-NET v1 轻量级神经网络

亮点

1.Depthwise convolution（大大减少运算量和参数的数量）参数只有VGG的1/32，准确率下降0.9%

2.增加了超参数α，β

3.DW卷积，卷积核的channel=1 Pointwise卷积核的大小为1，其他与普通卷积一样

缺点：dw卷积很多不work 很多参数为0 针对这个问题，产生了V2

v2

亮点

1.inverted residuals 倒残差结构

2.linear bottlenecks

V3

主要工作就是更新了block模块

1.加入了SE模块，即注意力机制

2.更新了激活函数

3.重新设计耗时层的结构

VIT结构

与传统卷积架构完全不同的新结构，完全使用自注意力机制构成，在大样本的情况下取得比卷积结构更为优秀的准确率。随之而来的是模型更加复杂，参数量更多。

模型训练的几个技巧

1.权重的初始化技巧。

随机初始化

①朴素方法，均匀分布或者高斯分布

②Xavier方法

③Kaiming方法

用训练好的模型

2.学习率的调整。学习率退火/升温

3.早停。更早停止训练防止loss过小而产生的过拟合现象。

4.数据增强