OpenMMLab AI实战营 课程笔记2

OpenMMLab AI实战营 课程笔记2_第1张图片

视觉任务的难点是像素整体呈现出的结果和个别像素的值没有直接关联,难以遵循具体的规则设计算法。

OpenMMLab AI实战营 课程笔记2_第2张图片

保留边缘轮廓的一些信息,应用于图像分类。

OpenMMLab AI实战营 课程笔记2_第3张图片

不仅学习分类,还学习如何产生合适分类的特征。深度学习的思想。

OpenMMLab AI实战营 课程笔记2_第4张图片

课程内容:

1、函数如何设计

2、如何求解一个好的参数,达到好的效果

OpenMMLab AI实战营 课程笔记2_第5张图片

开端。AlexNet

OpenMMLab AI实战营 课程笔记2_第6张图片

OpenMMLab AI实战营 课程笔记2_第7张图片

VGG将5*5拆解成3*3。更少的参数。

OpenMMLab AI实战营 课程笔记2_第8张图片

配合边界填充保持分辨率。卷几层后进行一次降采样。

OpenMMLab AI实战营 课程笔记2_第9张图片

GoogleNet参数量大大减少。

人们逐渐发现精度退化问题

OpenMMLab AI实战营 课程笔记2_第10张图片

OpenMMLab AI实战营 课程笔记2_第11张图片

基于此思想,提出来残差学习

OpenMMLab AI实战营 课程笔记2_第12张图片

OpenMMLab AI实战营 课程笔记2_第13张图片

OpenMMLab AI实战营 课程笔记2_第14张图片

OpenMMLab AI实战营 课程笔记2_第15张图片

计算技巧:残差模块加了一层,计算量更小。

1.ResNet是深浅模型的集成

OpenMMLab AI实战营 课程笔记2_第16张图片

2.残差链接让损失曲面更平滑

OpenMMLab AI实战营 课程笔记2_第17张图片

3.ResNet后续改进

OpenMMLab AI实战营 课程笔记2_第18张图片

OpenMMLab AI实战营 课程笔记2_第19张图片

OpenMMLab AI实战营 课程笔记2_第20张图片

OpenMMLab AI实战营 课程笔记2_第21张图片

范式未改变,精度有提高。

图像分类&视觉基础模型发展

OpenMMLab AI实战营 课程笔记2_第22张图片

轻量化卷积神经网络

OpenMMLab AI实战营 课程笔记2_第23张图片

多个多通道

OpenMMLab AI实战营 课程笔记2_第24张图片

降低模型参数量和计算量的方法

OpenMMLab AI实战营 课程笔记2_第25张图片

例如:

OpenMMLab AI实战营 课程笔记2_第26张图片

OpenMMLab AI实战营 课程笔记2_第27张图片

真正轻量化——可分离卷积

OpenMMLab AI实战营 课程笔记2_第28张图片

介于可分离卷积和一般卷积中间还有分组卷积

OpenMMLab AI实战营 课程笔记2_第29张图片

Vision Transformers

自然语言领域发家,后引入图像领域

OpenMMLab AI实战营 课程笔记2_第30张图片

之前卷积里特征是常数,注意力机制中特征是输入的函数。

OpenMMLab AI实战营 课程笔记2_第31张图片

OpenMMLab AI实战营 课程笔记2_第32张图片

OpenMMLab AI实战营 课程笔记2_第33张图片

OpenMMLab AI实战营 课程笔记2_第34张图片

OpenMMLab AI实战营 课程笔记2_第35张图片

模型学习

OpenMMLab AI实战营 课程笔记2_第36张图片

OpenMMLab AI实战营 课程笔记2_第37张图片

监督学习

OpenMMLab AI实战营 课程笔记2_第38张图片

OpenMMLab AI实战营 课程笔记2_第39张图片

基于梯度下降训练神经网络的整体流程

OpenMMLab AI实战营 课程笔记2_第40张图片

初始化参数,从数据集中采集一个batch(无放回采样),数据处理(增强等)得到四维数组,前传计算损失,反传计算参数梯度,梯度下降更新参数,用优化器增加一些策略技巧

学习率与优化策略

OpenMMLab AI实战营 课程笔记2_第41张图片

OpenMMLab AI实战营 课程笔记2_第42张图片

OpenMMLab AI实战营 课程笔记2_第43张图片

OpenMMLab AI实战营 课程笔记2_第44张图片

OpenMMLab AI实战营 课程笔记2_第45张图片

是一个经验结论。

OpenMMLab AI实战营 课程笔记2_第46张图片

OpenMMLab AI实战营 课程笔记2_第47张图片

数据增强

OpenMMLab AI实战营 课程笔记2_第48张图片

OpenMMLab AI实战营 课程笔记2_第49张图片

像素级别/2

OpenMMLab AI实战营 课程笔记2_第50张图片

自监督学习

自监督学习:基于无标注的数据学习

OpenMMLab AI实战营 课程笔记2_第51张图片

OpenMMLab AI实战营 课程笔记2_第52张图片

基于代理任务

OpenMMLab AI实战营 课程笔记2_第53张图片

基于对比学习

OpenMMLab AI实战营 课程笔记2_第54张图片

基于掩码学习

OpenMMLab AI实战营 课程笔记2_第55张图片

你可能感兴趣的:(人工智能,深度学习)