深度学习-图像处理
图片分类的粒度：类内方差与类间方差
评判标准：top1准确率和top5准确率
【CNN调参】图像分类算法优化技巧（实用性很高） - 知乎 (zhihu.com)
调参经验：
1.模型训练加速
增大学习率，batchsize和学习率同步增大
warm up，线性增加学习率
2.模型训练调参
学习率衰减策略采用cosine函数
标签平滑，把原始的one-hot类型标签软化，计算损失时一定程度的减少过拟合
知识蒸馏，采用一个效果更好的teacher model来训练student model，提高student model的效果
(46条消息) AlexNet论文翻译（中英文对照版）-ImageNet Classification with Deep Convolutional Neural Networks_bigcindy的博客-CSDN博客
1.重叠池化，CNN传统的是局部池化，重叠池化可以降低过拟合并且降低错误率
2.减少过拟合方法有：数据增强和dropout
3.数据增强方法：
图像变换和水平翻转，
改变训练图像的RGB通道强度
4.dropout也可以降低过拟合
5.随机梯度下降时，少量的权重衰减很重要，不仅只是一个正则项还可以减少模型的训练误差。
6.将不同模型的预测结果结合起来也是降低误差的额很好的办法，但是在大型网络花费时间太长。
7.作者介绍了训练中的一些细节。其中权重衰减、权重初始化、偏移初始化、启发式学习率都值得我们学习
(46条消息) 图像分类经典卷积神经网络—ZFNet论文翻译（中英文对照版）—Visualizing and Understanding Convolutional Networks(可视化和理解卷积网络)_卷积神经网络视觉识别英文论文_bigcindy的博客-CSDN博客
1.drop用于全连接层
2.较小的步长和卷积核尺寸可以有更多的特色和更少的死特征
3.改变模型的框架，改变imageNet模型尺寸，探讨对性能的影响
调整图层的大小，或者完全删除的方式探索AlexNet架构，例如，只删除全连接层（6,7层）或者只删除中间卷积层，错误率略微增加，但是如果同时把他们都删除产生只有4层的模型时，性能会显著变差，说明模型的整体深度对性能很重要。改变全连接层的大小对性能几乎没有影响。但是，增加中间卷积层的大小可以提高性能。但增加这些，将会同时增大全连接层，从而会导致过拟合。
(46条消息) 深度学习（二十七）可视化理解卷积神经网络_hjimce的博客-CSDN博客
1.特征可视化结果，观察每一层学习到的特征的特点
例如，从layer 1、layer 2学习到的特征基本上是颜色、边缘等低层特征；layer 3则开始稍微变得复杂，学习到的是纹理特征，比如上面的一些网格纹理；layer 4学习到的则是比较有区别性的特征，比如狗头；layer 5学习到的则是完整的，具有辨别性关键特征。
2.特征学习的过程
不同的网络层之间比较效果，同一层之间不同的epochs次数之间比较效果。
经典论文之VGG - 知乎 (zhihu.com)
1.深度学习中的级联
可以类比到物理中的串联电路。通常这种策略就是将相同(或类似)结构的操作(模块)连接在一起，以实现1+1>2的效果。比如用多个卷积层以提取更高度抽象的特征或得到更精确的回归结果。可以理解为多个分类器串联在一起，不断精细化模型结果，粗分->细分->再细分->再再.....->结果
2.简单说：预训练；网络权重初始化非常重要，坏的初始化会使得深度网络中的梯度不稳定导致无法学习，为例解决这个问题，可以先在较浅的网络A上使用随机初始化训练，在训练深层次的网络B时，将第一层卷积层和最后三层全连接层的参数用A中的参数初始化，中间层的参数随机初始化。使用 Glorot & Bengio (2010) 的论文中提到的随机初始化程序，不用预训练，也能很好的初始化参数
3.数据增强：多尺度训练，可以看做通过尺度抖动来增强数据集
理解点：
1.堆叠3X3卷积的优势
2.网络深度的影响
3.预训练低层模型参数为深层模型参数初始化赋值
相比于 LeNet 网络，VGG 网络的一个改进点是将大尺寸的卷积核 用多个小尺寸的卷积核代替
精读深度学习论文(1) VGG - 知乎 (zhihu.com)
VGG几乎全部使用3X3卷积核，最后几层使用了全连接，因此参数数量非常多，模型非常大
训练细节：
预处理：减去RGB值的平均值
优化算法：参数为0.9的动量，mini-batch sgd，batch-size为256
学习率：初始为0.01，在val set性能不变后，学习率/10
预训练权重：浅层网络预训练，直接用Xavier初始化
模型融合，少量提高正确率
【论文解读+代码实战】CNN深度卷积神经网络-VGG - 知乎 (zhihu.com)
VGG的特点：
- vgg-block内的卷积层都是同结构的
- 池化层都等于上一层的卷积层特征缩减一半
随机水平翻转和随机RGB色差进行数据扩增
图片缩放与随机裁剪：固定尺度和多尺度两种方式
【论文研读】GoogLeNet-Going deeper with convolutions - 知乎 (zhihu.com)
1.目标检测方法基于区域的的卷积神经网络（R-CNN）将检测问题分解为：利用低频次信号（颜色、纹理）找候选区域，然后对每个候选区域用CNN分类。
2.不同大小的卷积核，意味着不同尺度特征的抽象融合
3.卷积核采用1/3/5方便对齐，stride=1时，分别设定pad-0/1/2即可直接拼接
4.局部信息由1×1卷积核提取，靠前面的层提取局部信息；大范围空间信息由大卷积核提取，靠后面的层提取大范围空间信息。 网络越到后面，特征越抽象，随着层数的增加，3x3和5x5卷积的比例也要增加。
5.1X1卷积的作用：降维，减少计算量，增加深度、提高非线性表达能力。
池化有两种：平均池化和最大池化，有什么不同？？