深度学习&图像处理（深度学习在图像处理领域中的应用综述1）

殷琪林,王金伟.深度学习在图像处理领域中的应用综述[J].高教学刊,2018(09):72-74

1.特征表达/提取方法->特征学习

图像特征是指图像的原始特性或属性，可以分为视觉特征或统计特征。视觉特征主要是人的视觉直觉感受的自然特征（图像的颜色、纹理和形状）；统计特征是指需要通过变换或测量才能得到的人为特征（频谱、直方图等）。

常见特征提取方法：

• LBP算法（Local Binary Patterns）：一种用来描述图像局部纹理特征的算子，具有灰度不变性。

其主要思想是在目标像素周围定义一个3x3的窗口，以目标像素为阈值，将相邻的8个像素的灰度值与目标像素进行对比,大于目标像素标记为1，小于等于则标记为0。每个窗口都可以产生一个8位的二进制数，这样就得到了目标像素的LBP值。然后计算每个区域的直方图，然后对该直方图进行归一化处理。最后将得到的每个区域的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理特征向量。然后便可利用SVM或者其他机器学习算法进行分类。

• HOG特征提取算法（Histogram of Oriented Gradient）：在一幅图像中，图像的表象和形状能够被边缘或梯度的方向密度分布很好的表示，具有几何和光学不变性。

其主要思想是将图像灰度化，采用Gamma校正法对输入图像进行颜色空间的标准化以调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；计算图像每个像素的梯度，将图像划分成小区域，统计每个区域的梯度直方图，将每几个区域组成一个批次，一个批次内所有区域的特征串联起来便得到该批次的HOG特征。将图像内的所有批次的HOG特征串联起来就可以得到该图像的HOG特征。这个就是最终的可供分类使用的特征向量了。

• SIFT算子（Scale-invariant feature transform）：通过求一幅图中的特征点及其有关尺寸和方向的描述子得到特征并进行图像特征点匹配，具有尺度不变性和旋转不变性。

其主要思想是首先生成尺度空间->检测尺度空间极值点->去除不好的特征点->为每个关键点指定方向参数->生成关键点描述子->根据SIFT进行图像的匹配。

2.图像识别or图像取证

图像识别技术的过程分为信息的获取、预处理、特征抽取和选择、分类器设计和分类决策。模式识别是指对表示事物或现象的不同形式的信息做分析和处理从而得到一个对事物或现象做出描述、辨认和分类等的过程，其主要分为三种：统计模式识别、句法模式识别、模糊模式识别。

图像取证不同于图像识别的地方在于识别是区分图像内容里的差异，肉眼可以察觉到，而取证则是区分图像中以微弱信号存在的操作指纹，类间形态的差异微乎其微，所以对于图像取证问题一般的深度学习模型不能胜任。图像取证的性质必然决定了网络输入的改变， 只有放大了想要提取的指纹特征，深度学习模型才能更好地充当一个特征提取和分类器。 

相关研究：https://blog.csdn.net/qq_35509823/article/details/86505661

3.Degradation退化

随着网络结构的加深，带来了两个问题：一是消失/爆炸梯度，导致了训练十分难收敛，这类问题能够通过正则化和归一化解决；另一个是被称为degradation的退化现象。对合适的深度模型继续增加层数，模型准确率会下滑，训练误差和测试误差都会很高。其实当BN出现之后，梯度消失和爆炸的问题已经基本上被解决了，但是网络层数加深之后还是会出现效果差的情况，ResNet主要解决的是网络的退化问题。

解释1：网络越深，反传回来的梯度相关性越来越差，最后接近白噪声。我们认为图像具有局部相关性，因此梯度应该也具有类似的相关性，这样的更新才有意义，如果接近白噪声，那其实就可以认为做随机扰动。自然效果就越来越差了。解释2：引入残差之后对参数的变化更加的敏感。原本的网络只是学习一个从输入到输出的映射，现在学习的是输入和输出之间的差值。解释3：现在我们要训练一个深层的网络，它可能过深，假设存在一个性能最强的完美网络N，与它相比我们的网络中必定有一些层是多余的，那么这些多余的层的训练目标是恒等变换，只有达到这个目标我们的网络性能才能跟N一样。对于这些需要实现恒等变换的多余的层，要拟合的目标就成了H(x)=x，在传统网络中，网络的输出目标是F(x)=x，这比较困难，而在残差网络中，拟合的目标成了x-x=0，网络的输出目标为F(x)=0，这比前者要容易得多。解释4：类似LSTM的思想，加入一个进位闸，让数据能够传到后面去，不至于由于网络越来越深，到了后面学习不到有效的特征了。所以加入一个快捷键，让数据一直往下传，让每一层都能读到有效的特征。

4.降维

计算机的图像识别技术是一个异常高维的识别技术。不管图像本身的分辨率如何，其产生的数据经常是多维性的，这给计算机的识别带来了非常大的困难。想让计算机具有高效地识别能力，最直接有效的方法就是降维。降维分为线性降维和非线性降维。常见的线性降维方法有主成分分析（PCA）/线性奇异分析（LDA），它们简单、易于理解。但是通过线性降维处理的是整体的数据集合，所求的是整个数据集合的最优低维投影。经过验证，这种线性的降维策略计算复杂度高而且占用相对较多的时间和空间，因此就产生了基于非线性降维的图像识别技术，它是一种极其有效的非线性特征提取方法。此技术可以发现图像的非线性结构而且可以在不破坏其本征结构的基础上对其进行降维，使计算机的图像识别在尽量低的维度上进行，这样就提高了识别速率。例如人脸图像识别系统所需的维数通常很高，其复杂度之高对计算机来说无疑是巨大的“灾难”。由于在高维度空间中人脸图像的不均匀分布，使得人类可以通过非线性降维技术来得到分布紧凑的人脸图像，从而提高人脸识别技术的高效性。

5.R-CNN

物体检测算法中常用到的几个概念：Bounding Box：bbox是包含物体的最小矩形，该物体应在最小矩形内部。物体检测中关于物体位置的信息输出是一组(x,y,w,h)数据，其中x,y代表着bbox的左上角或其他固定点，对应的w,h表示bbox的宽和高。一组(x,y,w,h)唯一确定一个定位框。Intersection over Union(IoU)：对于两个区域R和R′，两个区域的重叠程度记为overlap。在训练网络的时候，我们常依据侯选区域和标定区域的IoU值来确定正负样本。非极大值抑制(Non-Maximum Suppression，NMS)：就是把不是极大值的抑制掉，在物体检测上，就是对一个目标有多个标定框，使用极大值抑制算法滤掉多余的标定框。

R-CNN（即Region-CNN，是第一个成功将深度学习应用到目标检测上的算法。R-CNN基于CNN，线性回归，和SVM等算法，实现目标检测技术。物体检查系统可以大致分为四步进行：
获取输入图像->提取约2000个候选区域->将候选区域输入CNN网络(候选图片需缩放)->将CNN的输出输入SVM中进行类别的判定

6.目标检测

即找出图像中所有感兴趣的目标，确定它们的位置和大小，是机器视觉领域的核心问题之一。由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮挡等因素的干扰，目标检测一直是机器视觉领域最具有挑战性的问题。目标检测要解决的核心问题是：目标可能出现在图像的任何位置，可能有各种不同的大小，可能有各种不同的形状。

计算机视觉中关于图像识别有四大类任务：
分类-Classification：解决“是什么？”的问题，即给定一张图片或一段视频判断里面包含什么类别的目标。
定位-Location：解决“在哪里？”的问题，即定位出这个目标的的位置。
检测-Detection：解决“是什么？在哪里？”的问题，即定位出这个目标的的位置并且知道目标物是什么。
分割-Segmentation：分为实例分割和场景分割，解决“每一个像素属于哪个目标物或场景”的问题。

7.四元数

四元数是用于表示旋转的一种方式，是简单的超复数，都是由实数加上三个虚数单位 i、j、k 组成，而且它们有如下的关系： i^2 = j^2 = k^2 = -1， i^0 = j^0 = k^0 = 1 , 每个四元数都是 1、i、j 和 k 的线性组合，即是四元数一般可表示为a + bi+ cj + dk，其中a、b、c 、d是实数。

对于i、j、k本身的几何意义可以理解为一种旋转，其中i旋转代表X轴与Y轴相交平面中X轴正向向Y轴正向的旋转，j旋转代表Z轴与X轴相交平面中Z轴正向向X轴正向的旋转，k旋转代表Y轴与Z轴相交平面中Y轴正向向Z轴正向的旋转，-i、-j、-k分别代表i、j、k旋转的反向旋转。

8.固有痕迹（指纹特性）

9.多模块堆叠