深度学习策略之图像预处理

学习策略对于培训和测试也非常重要。 首先,对数据进行预处理(例如图像增强)有时对于预测合理的结果至关重要。

1. 验证集划分

深度学习策略之图像预处理_第1张图片

  • 直接划分:随机划分的方式使得模型的训练数据可能和测试数据差别很大,导致训练出的模型泛化能力不强。
  • LOOCV: Leave-one-out cross-validation,这相当于是k折交叉验证的一个极端情况,即K=N。每次只用一个数据作为测试,其他均为训练集,重复N次(N为数据集数目)
  • kFold,k折交叉验证,每次的测试集将不再只包含一个数据,而是多个,具体数目将根据K的选取决定。比如,如果K=5,那么我们利用五折交叉验证的步骤就是:1)将所有数据集分成5份;2)不重复地每次取其中一份做测试集,用其他四份做训练集训练模型,之后计算该模型在测试集上的Error_i;3)将5次的Error_i取平均得到最后的Error。

2 Image augmentation,图像or数据增强

深度学习策略之图像预处理_第2张图片

2.1 传统方法

  • 直方图均衡
    原理是平均分布的图像信息熵最大,也就相当于是说对比度最大。从初始状态转化到直方图均衡状态时,经过一个转移函数,转移函数可由最终想要达到的平均状态作为极限来反推得到。
    具体可参阅:李新春:直方图均衡化

  • 灰度变换
    灰度变换可使图像动态范围增大,对比度得到扩展,使图像清晰、特征明显,是图像增强的重要手段之一。它主要利用图像的点运算来修正像素灰度,由输入像素点的灰度值确定相应输出像素点的灰度值,可以看作是“从像素到像素”的变换操作,不改变图像内的空间关系。像素灰度级的改变是根据输入图像f(x,y)灰度值和输出图像g(x,y)灰度值之间的转换函数g(x,y)=T[f(x,y)]进行的。
    灰度变换包含的方法很多,如逆反处理、阈值变换、灰度拉伸、灰度切分、灰度级修正、动态范围调整等。

  • 图像平滑
    在空间域中进行平滑滤波技术主要用于消除图像中的噪声,主要有邻域平均法、中值滤波法、高斯滤波等等。这种局部平均的方法在削弱噪声的同时,常常会带来图像细节信息的损失。
    上述的滤波方法一般都只是考虑空间域的操作(即相近像素),而忽略了值域空间的相关性,而这正是边缘所在处(值域的剧烈波动)非常重要的因素。因此,有双边滤波(保边滤波)方法,同时考虑了空域和值域,且设置了相应的权重,空域中离关注区域点左边越近,权重系数越大;值域中该值和所关注区域的值接近,其权重系数就大,反之则小,由此可以保住边缘处的信息。
    具体可参阅:bilateral filter双边滤波器的通俗理解

  • 图像锐化
    采集图像变得模糊的原因往往是图像受到了平均或者积分运算,因此,如果对其进行微分运算,就可以使边缘等细节信息变得清晰。这就是在空间域中的图像锐化处理,其基本方法是对图像进行微分处理,并且将运算结果与原图像叠加。从频域中来看,锐化或微分运算意味着对高频分量的提升。常见的连续变量的微分运算有一阶的梯度运算、二阶的拉普拉斯算子运算,它们分别对应离散变量的一阶差分和二阶差分运算。
    图像处理自学(六):图像增强算法总结_TheDayIn_CSDN的博客-CSDN博客

2.2 深度学习中的图像增强(预处理)

这些手段相当于yolo v4中所说的bags of free,意指用这些数据增强的手段,只会改变训练时的策略或者增加训练的时间,但不会对模型的最终的推断时间产生影响,相当于是免费的技巧。因此,yolo v4中用到了大量的数据增强手段,而结果也令人惊喜,得到了几个点的提升。可使用albumentations包,里面包含各类图像增强技术。

  • 几何增强:平移,旋转,剪切等对图像几何改变的方法,可以增强模型的泛化能力。

  • 色彩增强:主要是亮度变换,如使用HSV(HueSaturationValue)增强。

  • Blurring,模糊,诸如高斯滤波,方框滤波,中值滤波等。可以增强模型对模糊图像的泛化能力。

  • mixup,mixup: Beyond empirical risk minimization
    上述的通用数据增强方法则是针对同一类做变换,而mixup则是采用对不同类别之间进行建模的方式实现数据增强。不同的类加上不同的权重,而其得到的损失函数也加上不同的权重,最后再进行反向传导求参数。具体可参阅:数据增强之mixup论文笔记_ouyangfushu的博客-CSDN博客

  • 随机擦除(Random Erasing, RE)增强, [Random erasing data augmentation](Random Erasing Data Augmentation)
    随机擦除,提出的目的主要是模拟遮挡,从而提高模型泛化能力,对遮挡有更好的鲁棒性。随机选择一个区域,然后采用随机值进行覆盖,模拟遮挡场景。

  • Cutout,DeVries et al., 2017, Improved Regularization of Convolutional Neural Networks with Cutout
    其的出发点和随机擦除一样,也是模拟遮挡,目的是提高泛化能力,实现上比Random Erasing简单,随机选择一个固定大小的正方形区域,然后采用全0填充就OK了,当然为了避免填充0值对训练的影响,应该要对数据进行中心归一化操作,norm到0。具体也可参阅:【数据增强】Cutout_weixin_41560402的博客-CSDN博客

  • CutMix, Yun et al., 2019, CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features
    就是将一部分区域cut掉但不填充0像素而是随机填充训练集中的其他数据的区域像素值,分类结果按一定的比例分配.能让模型更加准确的分类和定位。

上述三种数据增强的区别:cutout和cutmix就是填充区域像素值的区别;mixup和cutmix是混合两种样本方式上的区别:mixup是将两张图按比例进行插值来混合样本,cutmix是采用cut部分区域再补丁的形式去混合图像,不会有图像混合后不自然的情形.

  • mosaic
    mosaic数据增强是参考CutMix数据增强,理论上类似.但cutmix使用2张图片,而mosaic则使用4张图片,其优点是丰富检测物体的背景,且在BN计算的时候一下子会计算四张图片的数据,使得mini-batch大小不需要很大,那么一个GPU就可以达到比较好的效果。
    深度学习策略之图像预处理_第3张图片

你可能感兴趣的:(深度学习,图像预处理,人工智能,深度学习,计算机视觉)