OpenMMLab实战营打卡-第2课

1.介绍

传统方法:设计图像特征(1990s-2000s)

OpenMMLab实战营打卡-第2课_第1张图片

特征工程的天花板

OpenMMLab实战营打卡-第2课_第2张图片

从特征工程到特征学习

OpenMMLab实战营打卡-第2课_第3张图片

层次化特征的实现方式

OpenMMLab实战营打卡-第2课_第4张图片

AlexNet的诞生

OpenMMLab实战营打卡-第2课_第5张图片

2.课程内容

OpenMMLab实战营打卡-第2课_第6张图片

2.1 模型设计

卷积神经网络

轻量化神经网络

神经结构搜索

Transformer

2.1.1 模型介绍

AlexNet(2012)

OpenMMLab实战营打卡-第2课_第7张图片

Going Deeper(2012-2014)

OpenMMLab实战营打卡-第2课_第8张图片

VGG(2014)

OpenMMLab实战营打卡-第2课_第9张图片
OpenMMLab实战营打卡-第2课_第10张图片

GoogleNet(2014)

OpenMMLab实战营打卡-第2课_第11张图片

实验的反直觉

OpenMMLab实战营打卡-第2课_第12张图片
OpenMMLab实战营打卡-第2课_第13张图片

ResNet34:

OpenMMLab实战营打卡-第2课_第14张图片
OpenMMLab实战营打卡-第2课_第15张图片
OpenMMLab实战营打卡-第2课_第16张图片

SeResNet

OpenMMLab实战营打卡-第2课_第17张图片

神经结构搜索

OpenMMLab实战营打卡-第2课_第18张图片

Vision Transformers

OpenMMLab实战营打卡-第2课_第19张图片

ConvNeXt(2022)

OpenMMLab实战营打卡-第2课_第20张图片

2.1.2 轻量化卷积神经网络

卷积的参数量

OpenMMLab实战营打卡-第2课_第21张图片

卷积的计算量

OpenMMLab实战营打卡-第2课_第22张图片

降低模型参数量和计算量的方法

OpenMMLab实战营打卡-第2课_第23张图片

MobileNet V1/V2/V3

OpenMMLab实战营打卡-第2课_第24张图片

ResNeXt 分组卷积

OpenMMLab实战营打卡-第2课_第25张图片

Vision Transformers

注意力机制 Attention Mechanism

OpenMMLab实战营打卡-第2课_第26张图片
OpenMMLab实战营打卡-第2课_第27张图片
OpenMMLab实战营打卡-第2课_第28张图片

1D数据上的Attention

OpenMMLab实战营打卡-第2课_第29张图片

2.2 模型学习

2.2.1 监督学习:基于标注数据学习

损失函数

随机梯度下降算法

视觉模型常用训练技巧

OpenMMLab实战营打卡-第2课_第30张图片

优化目标&随机梯度下降

OpenMMLab实战营打卡-第2课_第31张图片

基于梯度下降训练神经网络的整体流程

OpenMMLab实战营打卡-第2课_第32张图片

学习率与优化器策略

权重初始化

OpenMMLab实战营打卡-第2课_第33张图片

学习率对训练的影响

OpenMMLab实战营打卡-第2课_第34张图片

学习率策略:

学习率退火Annealing

OpenMMLab实战营打卡-第2课_第35张图片

学习率升温

OpenMMLab实战营打卡-第2课_第36张图片

自适应梯度算法

OpenMMLab实战营打卡-第2课_第37张图片

正则化与权重衰减 Weight Decay

OpenMMLab实战营打卡-第2课_第38张图片

模型权重平均 EMA

OpenMMLab实战营打卡-第2课_第39张图片

数据增强 Data Augmentation

OpenMMLab实战营打卡-第2课_第40张图片

组合数据增强 AutoAugment & RandAugment

OpenMMLab实战营打卡-第2课_第41张图片

组合图像 Mixup & CutMix

OpenMMLab实战营打卡-第2课_第42张图片

标签平滑 Label Smoothing

OpenMMLab实战营打卡-第2课_第43张图片

2.2.2 自监督学习:基于无标注的数据学习

OpenMMLab实战营打卡-第2课_第44张图片

基于代理任务

基于对比学习

基于掩码学习

你可能感兴趣的:(opencv,cnn)