OPENMMLAB学习笔记

20230201

通用视觉框架openmmlab

1、计算机视觉是什么
2、计算机视觉应用
3、计算机视觉的发展
4、openmmlab算法框架介绍
（1）mmdection3d：点云场景
（2）mmclassification
（3）mmsegmentation
（4）mmpose & mmhuman3d
（5）mmtracking
（6）mmaction2
（7）mmocr
（8）mmediting
5、机器学习基础、机器学习中的分类问题、神经网络的结构、神经网络的训练、卷积神经网络、pytorch环境配置与基础使用

20220202

1. 模型设计：
   1.1 卷积神经网络
   ALEXNET(2012)、going deeper(2012~2014)、vgg(2014)、goole net(inception v1 2014)、残差网络（2015）、
   1.2 轻量化卷积神经网络、
   mobile net v1/v2/v3(2017~2019)
   1.3 神经结构搜索
   vision transformers(2020+)、convnext(2022)
   transformer
2. 监督学习：基于标注数据学习
   2.1 交叉熵损失
   2.2 优化目标&随机梯度下降
   2.3 学习率与优化器策略
   （1）权重初始化
   （2）学习率对训练的影响
   a: 学习率退化 annealing b: 学习率升温 warmup. c: linear scaling rule. d: 自适应梯度算法. e: 正则化与权重衰减 weight decay. f: 早停. g: 模型权重平均ema
   (3)数据增强：几何变换、随机遮挡、色彩变换，可以进行组合；策略：autoaugment. rangaugmnet,组合图像：mixup,cutmix，标签平滑
3. 自监督学习：
   （1）基于代理任务：从数据生成出来的；relative location
   （2）基于对比学习: simclr 提取出来的特征极为相似
   （3）基于掩码学习：masked autoencoders