图像特征提取技术

前 言

  图像特征提取属于图像分析的范畴， 是数字图像处理的高级阶段。本文将从理论上介绍对图片进行特征提取的几大角度，这将为后续对图片的向量化表示提供理论支撑~
  特征是某一类对象区别于其他类对象的相应（本质）特点或特性。一定意义上说，特征是通过测量或处理能够抽取的数据。对于图像而言， 每一幅图像都具有能够区别于其他类图像的自身特征，有些是可以直观地感受到的自然特征，如亮度、边缘、纹理和色彩等；有些则是需要通过变换或处理才能得到的， 如矩、直方图以及主成份等。
  须知，特征提取的目的无外乎是为了分类或者聚类，这才是我们的根本目的。

基于颜色的特征提取

  颜色是图像非常重要的视觉特征，相对于其他特征（比如纹理和形状）而言，颜色的特征非常稳定，对于旋转和平移具有不敏感的特点。基于图像的特征提取，需要关注以下两个问题：（1）颜色空间、（2）颜色特征（直方图）

（1）颜色空间

  图像的颜色表示可以有很多种方法，在当前，我们接触到的图像几乎都是彩色的，这涉及到颜色空间的含义，比如RGB、HSI空间等。

  RGB三种颜色之间存在着高度的相关性（B-R：0.78、R-G：0.98、G-B：0.94），我不是很清楚这种相关性的计算方法，但是可能一般的图像（真正让人类不觉得碍眼的就是那若干种颜色构成的）。RGB颜色空间是一种最为基础的颜色空间，其他颜色空间可以由它而来，比如HSI颜色空间：

  由于几种原色之间高度的相关性，这种颜色空间直接作为特征空间的基础是不合适的，因此有了很多种对RGB空间的非线性变化进而消除了部分相关性，但是这些变换在低强度下存在很多问题。

（2）直方图以及特征提取

  颜色特征的表达最为常见的形式是通过颜色直方图的形式。何为颜色直方图，也就是颜色的比例分布关系，是对一幅图统计关系的表征。下图展示了灰度图像（只有一种称为灰度的颜色属性，灰度的值一般在0~L之间变化，下图是0 ~ 255）的颜色直方图：

  有了颜色直方图，就有了对图像颜色的数学特征的表达方法，如何通过直方图计算图像间的相似性呢？这里常用的是一种直方图相交法：设M,N是两个含有K个BIN的直方图，它们的分量分别为M(i)，N(i)，其中，i=1,2,3,4,….k,则它们相交的距离为：

  直方图相交是指两个直方图在每个BIN中共有的像素数目，有时候该值还可以通过除以其中一个直方图中所有的像素数目来实现标准化，从而使其值属于【0，1】范围内，即

  对于RGB或者其他颜色空间，是有多个颜色直方图的，每个图都做上述操作，最后加总或者求均值都可以。
  遗憾的是，上述方法很难描述图像的空间信息，但是在前人的摸索中，有了很多带有空间信息的图像颜色表征方案，其基本的思路就是图像分块，而后按照一定的规则应用累加直方图（大多数用到颜色矩的概念）：

图像分块的方法也有很多的创新，比如下面这种基于金字塔形的分块方法：

从图像的中心向整个图逐步扩大，而每一个小的子图都可进行颜色矩（或者其他数学属性，比如惯性比等）的计算并构建向量。
  那么，何为颜色矩呢？

  当然还有一种比较有趣的将颜色和空间信息杂糅的方法，那就是颜色聚合向量的引入！针对颜色直方图和颜色矩无法表达图像色彩的空间位置，Pass提出图像的颜色聚合向量。将属于直方图每个bin的像素分为两部分，如果该bin内的某些像素所占的连续区域面积大于给定的阈值，则该区域内的像素作为聚合像素，否则为非聚合像素。看起来是一个不错的思路。
  构建出这样一个表示其颜色属性的特征向量之后，就可以使用传统或者深度学习的方法进行分类或者聚类等数据挖掘操作了。

基于纹理的特征提取

  图像的纹理特征反应了图像本身的属性，但是啥是纹理好像又不是很容易描述？现有的方法主要包括统计的、结构的以及频谱的方法。

（1）灰度共生矩阵

  灰度共生矩阵是以条件概率提取纹理的特征，探索的是在像素空间的相互关系。下面举个例子：
  左图是一个3x3的单通道像素图，图中的数字1、2、3代表相应的像素值。我们考虑从左到右两个相邻格子的计数，并且在右图的表格中进行统计。

  左图中（1，2）相邻的情况出现了一次，那么对应的右表中第1列第2行的格子记为1。再举个例子，左图中（2，2）相邻的情况出现了两次，那么对应的右表中第2列第2行的格子记为2。为了避免大家没弄懂，我再举个例子，左图中（2, 3）相邻的情况一次也没有出现，那么对应的右表中第2列第3行的格子记为0。现在再看灰度矩阵的定义是不是很好理解了？以矩阵中的第一个元素p(1, 1)为例，它代表从左到右（1，1）相邻的次数除以所有矩阵中总次数的频数结果。比如这个（1，1）出现的次数为5，整个矩阵的计数总和为1000，那么这个元素的值就是0.005。

  实际上，统计相邻的情况并不局限于从左到右，还包括从上到下，左对角线和右对角线。对于上述矩阵，计算下图所示的若干个统计量


  现在介绍一下几个统计量在图像中的含义。

• Angular Second Moment可以用来描述图像中灰度分布的均匀程度和纹理的粗细程度。如果说灰度矩阵中各个元素的值波动不大，那么这个指标的值会比较小，反之则会比较大。如果这个值较大，则纹理比较粗，否则比较细。
• Correlation是相关性，可以用于描述矩阵元素在行或者列方向上的相关性。如果图像具有某个方向上的纹理，则该方向上的矩阵的该指标的值会比较大。
• Contrast对比度越大，纹理沟纹较深，图像较为清晰，反之，纹理沟纹较浅，图像较为模糊。
• Entropy熵。该值越大，说明矩阵中元素值较为分散。如果图像中没有任何纹理，则该值较小。如果图像中的纹理复杂，则该值较大。

  你可以参考这里【Link】获得更多信息。

（2）tamura纹理

  基于人类对纹理的视觉感知的心理学的研究，Tamura等人提出了纹理特征的表达。Tamura纹理特征的六个分量对应于心理学角度上纹理特征的六种属性，分别是粗糙度（coarseness）、对比度（contrast）、方向度（directionality）、 线像度（linelikeness）、规整度（regularity）和粗略度（roughness）。 原论文【Link】

基于深度神经网络的图像处理

  在另一篇博客里【Link】

2021年2月3日 by hash怪