Openmmlab学习笔记

1 机器学习与神经网络简介（20230201）

1.1 机器学习基础：训练、验证、应用

1.2 神经网络：拟合能力很强的函数

权重、偏置值、非线性激活函数、输出层及softmax激活函数

1.3 卷积神经网络

卷积层：输入图像像素与卷积核进行卷积输出（变形：边缘填充、步长、空洞）

激活层：常使用非线性激活函数

池化层：在特征图的局部区域内计算最大值或平均值，从而降低特征图分辨率，节省计算量，提高

特征的空间鲁棒性

全连接层：利用矩阵乘法进行输出

概率输出层：将网格输出转化为概率向量

2 图像分类算法基础（20230202）

2.1 图像分类的发展

AlexNet—Going Deeper—VGG—GoogleNet—ResNet（残差网络）—神经结构搜索——Vision Transformers—ConvNext

2.2 轻量化卷积神经网络（可分离卷积、分组卷积、注意力机制）

可分离卷积

分组卷积

注意力机制

2.3 模型学习的范式

2.3.1 监督学习

2.3.2 学习率与优化器策略

权重初始化（随机初始化、用训练好的模型进行初始化）

学习率对训练的影响（不能偏高或过低）

学习率策略：学习率退火、学习率升温、线性扩展原则（Linear Scaling Rule）、自适应梯度

算法、正则化与权重衰减（Weight Decay）、早停（验证集上取极值时停止训练，

防止过拟合）、权重平均（EMA）

2.3.3 数据增强

数据增强、组合数据增强、组合图像、标签平滑

2.3.4 自监督学习

基于代理任务、基于对比学习、基于掩码学习

2.4 MMClassification介绍