OpenMMLab AI 实战训练营笔记 02

什么是图像分类?

根据各自在图像信息中所 反映 的不同特征,把不同类别的目标区分开来的图像处理方法。

问题的数学表达

OpenMMLab AI 实战训练营笔记 02_第1张图片

视觉任务的难点

图像的内容是像素整体呈现出的结果,和个别像素的值没有直接关联,难以遵循具体的规则设计算法。

机器学习的局限

机器学习算法善于处理低维、分布相对简单的数据。而图像数据在几十万维的空间中以复杂的方式“缠绕”在一起,常规的机器学习算法难以处理这种复杂数据分布。

传统方式

设计图像特征
OpenMMLab AI 实战训练营笔记 02_第2张图片
在 ImageNet 图像识别挑战赛里,2010和2011年的冠军队伍都使用了经典的视觉方法,基于手工设计的特征 + 机器学习算法实现图像分类,Top-5 错误率在 25% 上下。
受限于人类的智慧,手工设计特征更多局限在像素层面的计算,丢失信息过多,在视觉任务上的性能达到瓶颈

从特征工程到特征学习

OpenMMLab AI 实战训练营笔记 02_第3张图片
OpenMMLab AI 实战训练营笔记 02_第4张图片

卷积神经网络

AlexNet

OpenMMLab AI 实战训练营笔记 02_第5张图片

VGG

OpenMMLab AI 实战训练营笔记 02_第6张图片
OpenMMLab AI 实战训练营笔记 02_第7张图片
OpenMMLab AI 实战训练营笔记 02_第8张图片

GoogLeNet

OpenMMLab AI 实战训练营笔记 02_第9张图片

ResNet

模型层数增加到一定程度后,分类正确率不增反降
OpenMMLab AI 实战训练营笔记 02_第10张图片
OpenMMLab AI 实战训练营笔记 02_第11张图片
OpenMMLab AI 实战训练营笔记 02_第12张图片
OpenMMLab AI 实战训练营笔记 02_第13张图片
OpenMMLab AI 实战训练营笔记 02_第14张图片

更强的图像分类模型

  1. Neural Architecture Search
  2. Vision Transformers
  3. ConvNeXt

训练技巧

  1. 权重初始化
    OpenMMLab AI 实战训练营笔记 02_第15张图片
  2. 学习率对训练的影响
    OpenMMLab AI 实战训练营笔记 02_第16张图片
  3. 学习率策略:学习率退火 Annealing
    OpenMMLab AI 实战训练营笔记 02_第17张图片
  4. 学习率升温 Warmup
    OpenMMLab AI 实战训练营笔记 02_第18张图片
  5. Linear Scaling Rule
    OpenMMLab AI 实战训练营笔记 02_第19张图片
  6. 正则化与权重衰减 Weight Decay
    OpenMMLab AI 实战训练营笔记 02_第20张图片
  7. Early Stoping
    OpenMMLab AI 实战训练营笔记 02_第21张图片
  8. 模型权重平均 EMA
    OpenMMLab AI 实战训练营笔记 02_第22张图片
  9. Stochastic Weight Averaging
    OpenMMLab AI 实战训练营笔记 02_第23张图片

数据增强方式

  1. 几何变化
  2. 色彩变换
  3. 随机遮挡
  4. 组合数据增强
  5. 标签平滑 Label Smoothing

模型相关策略

  1. 丢弃层Dropout
  2. 随机深度 Stochastic Depth

图像分类工具包 MMClassification

OpenMMLab AI 实战训练营笔记 02_第24张图片

你可能感兴趣的:(人工智能,计算机视觉,深度学习)