图像分类与基础视觉模型(听课笔记2)

超越规则:让机器从数据中学习
1、收集数据,2、定义模型,3、训练,4、预测
机器学习的局限
图像--》人工设计的算法--〉特征向量--》机器学习--〉分类
特征工程的天花板
从特征工程到特征学习
图像-计算梯度-统计梯度-分类
层次化特征的实现方式
卷积神经网络,多头注意力,transformer
alexnet的诞生&深度学习时代的开始

课程内容:
图像分类的数据表示
1、模型设计:卷积神经网络,轻量化卷积神经网络,神经结构搜索,transformer,设计合适图像的Fe(x)
精度退化问题,实验的反直觉,残差学习的基本思路,
残差网络resnet
更强的分类模型:神经结构搜索,vision transformers,convnext
可分离卷积,mobilenet,resnext中的分组卷积
注意力机制attention mechanism,swin transformer
2、模型学习:监督学习,自监督学习
模型学习的范式,交叉熵损失
基于提督下降训练神经网络的整体流程
训练技巧的重要性
学习率与优化策略
学习率对训练的影响
学习率策略:学习率退火annealing,学习率升温warmup
数据增强data augmentation,低成本扩展数据集
组合图像mixup& cutmix
标签平滑label smoothing

自监督学习的常见类型
simCLR
masked autoencoders

你可能感兴趣的:(深度学习,cnn,神经网络)