图像检测：图像预处理

主要内容

• 图像显示与存储原理
• 图像增强的目标
• 点运算：基于直方图的对比度增强
• 形态学处理
• 空间域处理：卷积
• 卷积的应用（平滑，边缘检测，锐化等）
• 频率域处理：傅里叶变换，小波变换
• 应用案例：平滑，边缘检测，CLAHE等

颜色空间

RGB颜色空间

• 加法混色，彩色显示器
• 3个通道：（Red通道，Green通道，Blue通道）
• 一个像素颜色值：（b,g,r）
• 取值范围：[0,255],[0.0,1.0]
  

CMY(K)颜色空间

• 减法混色，印刷
• 4通道：Cyan通道，Magenta通道，Yellow通道，Key通道
• 一个像素颜色值：（c,m,y,k）
• 取值范围：[0,255],[0.0,1.0]
  

HSV颜色空间

• 人类视觉概念，画家配色
• 3个要素：H/Hue：色调，颜色种类；S/Saturation：饱和度，颜色的纯度；V/Value：明度，颜色明亮度
• 一个像素颜色值：（h,s,v）
• 取值范围：[0,255],[0.0,1.0]
  
  

CIE-XYZ颜色空间

• 国际照明协会，1931
• 基于人类颜色视觉的直接测定
• 其他颜色空间基础
• 人类视觉系统-视锥细胞：短波（S,420-440nm）;中波（M，530-540nm）；长波（L,560-580nm)
• 3色刺激值通道：X,Y,Z约略对应于红色，绿色，蓝色；一种波的刺激等于几种波的混合刺激
  

图片存储原理

主流颜色空间

• RGB三通道彩色图：图片 → 3维矩阵（[0,255]）
  
  

• 单通道灰度图：亮度信息([0,255]);Gray = R0.3+G0.59+B*0.11
  
  RGB图片数据格式

• 3维矩阵
  
  常见的存储格式：bmp,jpg, png, tiff, gif,pcx, tga, exif, fpx, svg, psd, cdr, pcd, dxf, ufo，eps,ai,raw,WMF,webp等。

• BMP：采用位映射存储格式，不采用其他任何压缩，所占用的空间很大。

• JPG：最常见的有损压缩格式，能够将图像压缩到很小的空间，压缩比可达10:1到40:1之间。

• GIF：基于LZW算法的连续色调的无损压缩格式，其压缩率一般在50%左右。

• PNG：是比较新的图像文件格式，能够提供长度比GIF小30%的无损压缩图像文件。

图像增强目标

• 改善图像的视觉效果
• 转换为更适合与人或机器分析处理的形式
• 突出对人或机器分析有意义的信息
• 抑制无用信息，提高图像的使用价值

具体的说，包括图形锐化，平滑，去噪，灰度调整（对比度增强）

图像处理方法

直方图（Histogram）

• 对图片的数据/特征分布的一种统计： 灰度，颜色；梯度/边缘，形状，纹理；局部特征点，视觉词汇；
• 区间(bin)：具有一定的统计或物理意义；一种数据或特征的代表；需要预定义或基于数据进行学习；数值是一种统计量。
• 对数据空间（bin）进行量化

直方图均衡化

直方图均衡化是指:利用图像直方图对对比度进行调整的方法。直方图均衡化通常用来增加许多图像的局部对比度，尤其是当图像的有用数据的对比度相当接近的时候。直方图均衡化以后，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。
直方图均衡化：实质上是对图像进行非线性拉伸
重新分配各个灰度单位中的像素点数量，是一定灰度范围像素点数量的值大致相等

自适应直方图均衡

• 直方图均衡的经典算法对整幅图像的像素使用相同的变换，如果图像中包括明显亮的或者暗的区域，则经典算法作用有限
• 自适应直方图均衡（AHE）算法通过对局部区域进行直方图均衡，来解决上述问题

• 移动模板在原始图片上按特定步长滑动
• 每次移动后 ，模板区域内做直方图均衡，映射后的结果赋值给模板区域内所有点
• 每个点会有多次赋值，最终的取值为这些赋值的均值

CLAHE

1. AHE会过度放大图像中相对均匀区域的噪首，可采用限制对比度自适应直方图均衡(CLAHE)

2. 与普通的自适应直方图均衡相比，CLAHE的不同地方在于直方图修剪过程，用修剪后的直方图均衡图像时，图像对比度会更自然。
   

3. 小黑点的灰度直接由映射函数计算得到

4. 粉色区域内点的灰度由映射函数计算而得

5. 绿色区域内点的灰度由由相邻2块灰度映射值线性插值而得

6. 其他区域所有点的灰度由相邻4块的灰度映射值双线性插值而得
   

CLAHE算法步骤

1. 图像分块，以块为单位
2. 先计算直方图，然后修建直方图，最后均衡
3. 遍历操作各个图像块，进行块间双线性插值
4. 与原图做图层滤色混合操作
   

形态学运算

• 膨胀是图像中的高亮部分进行膨胀，类似于领域扩张
• 腐蚀是原图的高亮部分被腐蚀，类似于领域被蚕食
• 开运算：先腐蚀在膨胀，可以去掉目标外的孤立点
• 闭运算：先膨胀在腐蚀，可以去掉目标内的孔
  通常，当有噪声的图像用阈值二值化后，所得到的边界是很不平滑的，物体区域具有一些错判的孔洞，背景区域散布着一些小的噪声物体，连续的开和闭运算可以显著的改善这种情况。

空间域处理及其变换

滤波/卷积

• 在每个图片位置（x，y）上进行基于领域的函数计算

  • 滤波函数，权重相加
  • 卷积核，卷积模板
  • 滤波器，滤波模板
  • 扫描窗

• 不同功能需要定义不同的函数

• 平滑/去噪
• 梯度/锐化
• 边缘，显著点，纹理
• 模式检测

空域分析及变换

滤波/卷积
参数解释

• x,y是像素在图片中的位置/坐标
• k,l是卷积核中的位置坐标
• f[k,l]是卷积核中在（k,l）上的权值参数
  -I[x+k,y+l]是与f[k,l]相对应的图片像素值
  -h[x,y]是图片中（x,y）像素的滤波/卷积结果

边界填充（padding）

• 获得同尺寸输出的情况下
• 卷积核越多，补充越多

补充类型

• 补零(zero-padding)
• 边界复制(replication)
• 镜像(reflection)
• 块复制(wraparound)

均值滤波示意

平滑均值滤波

• 3X3
• 扫描步长
• 边框补零
  
  
  
  均值滤波本身存在缺陷，既没有很好的去处噪声点，也破坏了图像的细节反而使图像变得模糊
  

平滑中值滤波/卷积

• 奇数尺寸:3x3,5x5,7x7
• 操作原理：卷积域内的像素值从小到大排序，取中间值作为卷积输出
• 有效去除椒盐噪声
  
  
  平滑高斯滤波/卷积
• 奇数尺寸
• 模拟人眼，关注中心区域
• 有效去除高斯噪声
• 参数：x,y是卷积参数坐标，标准差

梯度Prewitt滤波/卷积

• 水平梯度/垂直边缘
  

-垂直梯度/水平边缘

帝都Sobel滤波/卷积

• 水平梯度/垂直边缘
  

• 垂直梯度/水平边缘
  

频域分析及变换

如何让卷积更快：空域卷积=频域乘积

高斯金字塔

• 图像金字塔化：先进行图像平滑，再进行降采样

• 根据降采样率，得到一系列尺寸逐渐减小的图像

• 操作：n次（高斯卷积→2倍降采样）→n层金字塔

• 目的：捕捉不同尺寸的物体
  

• 高斯滤波的必要性：高斯金字塔本质上为信号的多尺度表示法

• 直接降采样损失信息
  
  

拉普拉斯金字塔

• 高频细节信息在卷积和下采样中丢失
• 保留所有层所丢失的高频信息，用于图像恢复
  

高斯金字塔与拉普拉斯金字塔