机器学习——gist特征

gist特征

• gist特征是一个全局特征信息，借助Gabor滤波，在m个尺度，n个方向上进行卷积，得到mn个特征来描述图像

14.1 图像中的傅里叶变换

• 傅里叶变换可以看作是棱镜，能够将函数基于频率分解为不同的成分
• 表征图像描述属性
  1. 频率f
     • 类似于亮度
  2. 幅值A
     • 类似于对比度，图像中最亮和最暗的峰值之间的差
  3. 相位γ
     • 原始波形，表示三角函数的偏移量
• 傅里叶变换编码
  • 就是一系列的正弦函数编码，频率从0到最高对图像中的所有频率进行编码
  • 一个只包含一个频率f1的信号在频谱上横坐标f为f1的点处绘制一个单峰值，峰值高度等于对应的振幅amplitude，或者正弦曲线信号的高度
  • DC term直流信号对应于频率为0的点，表示整幅图像的平均亮度
• 二维傅里叶变换
  • 一维傅里叶变换在每一行扫描线和列扫描线上的傅里叶变换的叠加
• 傅里叶谱图上的每一个像素点都代表一个频率值
  • 像素点的亮度=》幅值
    • 在傅里叶谱图上的亮度对应于图像中的对比度
    • 表征图象中的灰度变化剧烈程度，是灰度在平面空间上的梯度
  • 将一个函数转化为一系列的周期函数来表示
    • 每一个周期函数可以表示为不同频率的正弦、余弦和
    • 因此每一个函数可以由正弦、余弦函数表示

14.1.1 傅里叶变换的实质

• 傅里叶变换就是将图像从空间域转换到了频率域

  • 逆变换也就是从频率域转换到空间域
  • 因此傅里叶变换就是在将图像的灰度分布函数变换成图像的频率分布函数

• 在傅里叶变换以前，图像是平面(二维矩阵)上的一个个像素点

  • 图像各点的频率就是图像的第三维，进而也就形成了空间
  • 对于图像进行二维傅里叶变换得到的频谱图就是图像梯度的分布图
  • 图像与邻域点差异的强弱(梯度)也就是频率的大小
  • 注：频谱图上个点与图像上个点并不是一一对应的

14.1.2 傅里叶变换处理图像的几个特点

• 图像平移不改变能量频谱
• 图像自称平均等于能量频谱的综合，f的分散等于能量频谱中除直流成分后的总和
• 图像f(x,y)和g(x,y)的卷积h(x,y)=f(x,y)×g(x,yu=)的傅里叶变换等于各自的傅里叶变换的乘积

14.2 Gabor滤波器

傅里叶变换能够将图像从空间域转换到频率域，并且提取空间与上不易提取的特征，但是傅里叶变换之后的不同位置的频度往往混合在一起。

因此需要Gabor滤波器抽取空间局部频度特征

• Gabor滤波器就是一个三角函数和一个高斯函数的叠加

  • 高斯函数：

• OpenCV中的getGaborKernel函数由五个参数

  • orientation
    • 滤波核中平行条带的方向，范围(0,360)
  • Phase offset
    • 余弦函数的相位参数，范围(-180–180)
      • 可以改变滤波核中心点的波形
      • 如果滤波核中心点波形正对波峰，会起到加强作用
      • 如果正对波谷，回归整张图片起到减弱作用
  • Aspect ratio
    • 纵横比，表示椭圆度
  • Wavelength
    • 波长参数，大于2像素
  • The standard deviation
    • Gabor核函数中的高斯函数的标准差，表示可接收区域的大小
  • 卷积核大小
    • 如果卷积核边长小于波长
      • 整个波形不能包括在卷积核内，滤波不起作用
    • 如果卷积核边长大于波长
      • 正常进行

14.3 gist特征提取方法

• 借助滤波器对n个尺度，m个方向进行卷积，得到nm个特征图谱
• 把每个特征图谱分成k×k个区域，计算每个区域中的均值
• 就得到了k×k×n×m维度的GIST特征

14.4 空间包络

空间包络特征将一张图像用五个描述子进行描述，计算方法是使用谱特征和学习到的权值分量d做内积，得到空间包络特征。五个描述子分别如下：

• 自然度（Degree of Naturalness）：场景如果包含高度的水平和垂直线，这表明该场景有明显的人工痕迹，通常自然景象具有纹理区域和起伏的轮廓。所以，边缘具有高度垂直于水平倾向的自然度低，反之自然度高。
• 开放度（Degree of Openness）：空间包络是否是封闭（或围绕）的。封闭的，例如：森林、山、城市中心。或者是广阔的，开放的，例如：海岸、高速公路。
• 粗糙度（Degree of Roughness）：主要指主要构成成分的颗粒大小。这取决于每个空间中元素的尺寸，他们构建更加复杂的元素的可能性，以及构建的元素之间的结构关系等等。粗糙度与场景的分形维度有关，所以可以叫复杂度。
• 膨胀度（Degree of Expansion）：平行线收敛，给出了空间梯度的深度特点。例如平面视图中的建筑物，具有低膨胀度。相反，非常长的街道则具有高膨胀度。
• 险峻度（Degree of Ruggedness）：即相对于水平线的偏移。（例如，平坦的水平地面上的山地景观与陡峭的地面）。险峻的环境下在图片中生产倾斜的轮廓，并隐藏了地平线线。大多数的人造环境建立了平坦地面。因此，险峻的环境大多是自然的。