数字图像处理

---

图像复原

1. 图像复原的目的
2. 图像复原的关键
3. 图像复原的方法

上升阶跃边缘、下降阶跃边缘、脉冲状边缘和屋顶状边缘曲线及其一阶导数和二阶导数有哪些特征？

Hough变换的基本思想是什么？

上升阶跃边缘：
一阶导数：产生正峰值
二阶导数：进入和离开边缘峰值符号相反

下降阶跃边缘：
一阶导数：下降灰度斜坡开始和整个灰度斜坡上不为0，也就是下降结束为0，产生粗边缘
二阶导数：斜坡开始和结尾处不为0，也就是开头和结尾不为0，产生细边缘
脉冲边缘：
一阶导数：产生一个正峰值和一个负峰值，单边缘
二阶导数：产生的峰值远大于一阶导数，双边缘对称
屋顶状边缘：
一阶导数：产生一个正峰值和一个负峰值，单边缘，幅度小于脉冲边缘
二阶导数：产生的峰值远大于一阶导数，双边缘对称，幅度小于脉冲边缘

结论：
1.一阶导数产生粗边缘
2.二阶导数对精细的细节产生更强的双边缘响应
3.二阶导数的符号可用于确定由暗到亮（+），还是由亮到暗（-）

Imag:
[1,1,1,1,1,1,1]
[1,1,1,1,1,1,1]
[1,1,0,0,0,1,1]
[1,1,0,0,0,1,1]
[1,1,0,0,0,1,1]
[1,1,1,1,1,1,1]
[1,1,1,1,1,1,1]

Sobel算子：

y方向：1/4*[
[-1,-2,-1],
[0,0,0],
[1,2,1]]
x方向：1/4*[
[-1,0,1],
[-2,0,2],
[-1,0,1]]

• x方向梯度：
  [[-0.2500, -0.2500, 0.0000, 0.2500, 0.2500],
  [-0.7500, -0.7500, 0.0000, 0.7500, 0.7500],
  [-1.0000, -1.0000, 0.0000, 1.0000, 1.0000],
  [-0.7500, -0.7500, 0.0000, 0.7500, 0.7500],
  [-0.2500, -0.2500, 0.0000, 0.2500, 0.2500]]
• y方向梯度：
  [[-0.2500, -0.7500, -1.0000, -0.7500, -0.2500],
  [-0.2500, -0.7500, -1.0000, -0.7500, -0.2500],
  [ 0.0000, 0.0000, 0.0000, 0.0000, 0.0000],
  [ 0.2500, 0.7500, 1.0000, 0.7500, 0.2500],
  [ 0.2500, 0.7500, 1.0000, 0.7500, 0.2500]]
• 梯度合成：
  [[0.3536, 0.7906, 1.0000, 0.7906, 0.3536],
  [0.7906, 1.0607, 1.0000, 1.0607, 0.7906],
  [1.0000, 1.0000, 0.0000, 1.0000, 1.0000],
  [0.7906, 1.0607, 1.0000, 1.0607, 0.7906],
  [0.3536, 0.7906, 1.0000, 0.7906, 0.3536]]

拉普拉斯算子：

• 90度增量旋转：
  [[ 0., 1., 1., 1., 0.],
  [ 1., -2., -1., -2., 1.],
  [ 1., -1., 0., -1., 1.],
  [ 1., -2., -1., -2., 1.],
  [ 0., 1., 1., 1., 0.]]
• 45度增量旋转：
  [[ 1., 2., 3., 2., 1.],
  [ 2., -5., -3., -5., 2.],
  [ 3., -3., 0., -3., 3.],
  [ 2., -5., -3., -5., 2.],
  [ 1., 2., 3., 2., 1.]]

Hough变换：

根据待检测曲线对应的像素间的整体关系检测出已知形状的曲线并用参数方程描述出来

基本思想：

• 在原始图像坐标系下的一个点对应了参数坐标系中的一条直线，同样参数坐标系的一条直线对应了原始坐标系下的一个点，然后，原始坐标系下呈现直线的所有点，它们的斜率和截距是相同的，所以它们在参数坐标系下对应于同一个点。这样在将原始坐标系下的各个点投影到参数坐标系下之后，看参数坐标系下有没有聚集点，这样的聚集点就对应了原始坐标系下的直线。
• 在实际应用中，y = kx+by = kx+b形式的直线方程没有办法表示x=c形式的直线(这时候，直线的斜率为无穷大)。所以实际应用中，是采用参数方程p = xcos(θ) + ysin(θ)
  就将直线改写为参数方程，参数空间中的直线相应的对应为正弦函数

---

• 举个例子来理解：

设图像上的直线是 y=x, 我们先取上面的三个点：A(0,0), B(1,1), C(2,2)。可以求出，过A点的直线的参数要满足方程b=0, 过B点的直线的参数要满足方程1=k+b, 过C点的直线的参数要满足方程2=2k+b, 这三个方程就对应着参数平面上的三条直线，而这三条直线会相交于一点(k=1,b=0)。　同理，原图像上直线y=x上的其它点(如(3,3),(4,4)等)　对应参数平面上的直线也会通过点(k=1,b=0)。这个性质就为我们解决问题提供了方法，就是把图像平面上的点对应到参数平面上的线，最后通过统计特性来解决问题。假如图像平面上有两条直线，那么最终在参数平面上就会看到两个峰值点，依此类推。

• 在实际操作时，步骤如下：
  1、得到图像的边缘信息；
  2、对边缘图像中的每一个点，在k-b空间中画出一条直线；
  3、对各直线上的点，我们采取“投票”（vote）的方法，即累加：有直线经过这一点，这一点的值加1；
  4、遍历k-b空间，找出局部极大值点，这些点的坐标（k，b）就是原图像中可能的直线的斜率和截距。

---

基本概念

0. 灰度：
   一幅图像可以定义为一个二维函数f(x,y),其中x和y是空间坐标，而在任何一对空间坐标(x,y)处的幅值f称为图像在该点处的强度或灰度。

1. 数字图像：
   当图像的空间坐标和灰度值都是有限的离散数值时，我们称该图像为数字图像。

2. 数字图像处理：是指借助于数字计算机来处理数字图像。

3. 数字图像处理的意义：
   （1）扩大人的视觉功能；（2）代替人的视觉功能；（3）打动人的视觉功能

   数字图像处理的目的：
   （1）提高图像的质量 （2）提取图像中所包含的某些特征或特殊信息
   （3）图像数据的变换、编码和压缩，便于图像的存储和传输。

4. 图像数字化：是指将模拟图像经过离散化之后，得到用数字表示的图像。

5. 图像的数字化包括了空间离散化（即采样）和明暗表示数据的离散化（即量化），对坐标的数值化叫采样，对幅值的数字化称为量化。

6. 量化所能达到的精度取决于离散级数和取样信号的噪声。

7. 采样时的注意点是：采样间隔 的选取；

   采样间隔太小，则增大数据量；
   太大， 则会发生信息的混叠，导致细节无法辨认。

   三种采样方式：有缝、无缝、重叠

8. 数字图像的质量在很大程度上取决于取样和量化中所用的样本数和灰度级。

数字图像的采样规则：

1. 对缓变的图像，应细量化，粗采样，避免假轮廓
2. 对细节丰富的图像，应粗量化，细采样，避免模糊

9. 数字图像表示：

   • 令f(s,t)表示一副具有两个连续变量s和t的连续图像函数，通过取样和量化，可以把该函数转化为数字图像。
   • 假如将该连续图像取样为一个二维阵列f(x,y),该阵列包含有M行和N列，其中(x,y)是离散坐标。我们对离散坐标使用整数值，x=0,1,2…,M-1和y=0,1,2,…N-1.通常图像在任何坐标(x,y)处的值记为f(x,y),x和y都是整数。
   • 三种方法表示图像：函数图、灰度图、矩阵或阵列

10. 数字化过程要求针对M值、N值和离散灰度级数L作出判定。对于M和N，除了必须取正整数外没有其他限制。然而出于存储和量化硬件的考虑，灰度级数典型典型的取为2的整数次幂，即L=2k

11. 图像动态范围：图像中最大可度量灰度和最小可检测灰度之比。（注意：动态范围由系统能表示的最低和最高灰度级来确定，上限取决于饱和度，下限取决于噪声。

    噪声可掩盖可检测的最低真实灰度级。）

12. 饱和度：是指超过这个值的灰度级将被剪切掉，这样一个最高值称为饱和度。

13. 对比度：一幅图像中最高和最低灰度级间的灰度差。高动态范围的图像具有高对比度，具有低动态范围的图像呆滞，看上去像冲淡了灰度。

14. 当一幅图像具有个$2^k$灰度级时，称该图像是k比特图像。储存该图像所需的比特数：b=M* N* k

15. 区分图像中的目标物细节的程度，称为图像的分辨率。

    图像分辨率包括空间分辨率和幅度分辨率，分别由图像的采样和量化决定。

16. 空间分辨率：是图像中可辨别的最小细节的度量。

17. 灰度分辨率：是灰度级中可分辨的最小变化。

18. 图像空间分辨率是由采样点数（N-（列））决定的。

    • 当灰度级k一定时，采样点数越多,图像的空间分辨率就越高，图像质量就越好。
    • 反之，采样点数越少，空间分辨率就越低，图像质量越差，严重时会出现像素呈块状的国际棋盘效应，这是由于此时像素块的面积增大。

19. 图像内插：使用已知数据估计未知位置的数值处理。

    图像插值包括：

    • 最近邻法（最近邻的灰度赋值给每个新位置）
    • 双线性内插法（v(x,y)=ax+by+cxy+d,系数由最近邻的四个点确定）
    • 双三次内插法（最近邻的16个点确定）

20. 图像的像素级运算

    • 图像相加可以做平滑噪声的处理;
      图像相减可以增强差别;
      图像相乘或相除可以用来校正阴影和进行模板操作。
    • 多幅图像求均值可以降低噪声，因为噪声不相关且均值为0
      注意：图像需要配准！

    给定一幅图像f，保证图像间算术操作的整个值域落入某个固定比特的方法如下。
    首先，我们执行操作fm=f-min(f);该操作生成其最小值为零的一幅图像。
    然后执行操作 fs=K*[fm/max(fm)]该操作生成一幅标定的图像fs,其值在[0,K]范围内。
    在处理8比特图像时，置K=255,我们得到一幅灰度范围从0到255的全部8比特的满标度图像

21. 均值或期望可以反映图像的整体亮度；方差反映图像的对比度

---

图像增强

22. 图像增强：是采用一系列技术去改善图像的视觉效果,或将图像转换成一种更适合于人或机器进行分析和处理的形式。

    • 例如采用一系列技术有选择地突出某些感兴趣的信息，同时抑制一些不需要的信息，提高图像的使用价值。

23. 图像增强方法从增强的作用域出发，可分为空间域增强和频率域增强两种。

    • 空间域增强是直接对图像各像素进行处理；

      空间域图像增强操作主要分为灰度变换和空间滤波两类。

      • 灰度变换在图像的单个像素上操作，主要以对比度和阈值处理为目的。

      • 空间滤波涉及改善性能的操作，如通过图像中每个像素的邻域处理来锐化图像。

    • 频率域增强是将图像经傅立叶变换后的频谱成分进行处理，然后逆傅立叶变换获得所需的图像。

灰度变换

什么是灰度变换?
按一定的规则修改图像每一个像素的灰度，从而改变图像灰度的动态范围

• 灰度变换的作用：
  1. 使图像动态范围加大
  2. 使图像对比度可扩展
  3. 特征更加明显

灰度变换常用的三类基本函数：线性函数（反转和恒等变换）、对数变换（反对数）、幂律函数

反转：反转一幅图像的灰度级，可得到等效的照片底片。

• 这类处理特别适合增强嵌入在一幅图像的暗区域中的白色或灰度细节，尤其是黑色占主导的图片

计算：

1. 确定原图像的灰度级范围[0 , L-1] , r为原图像中像素的灰度值
2. 反转图像的灰度：S = L-1-r

线性变换：函数和灰度建立映射关系

分段线性灰度变换：

• 为了突出图像中感兴趣的目标或者灰度区间，抑制不感兴趣的灰度区间，将图像灰度区间分成多段
• 优点：形式上可以处理任意复杂的问题
• 缺点：对用户输入有要求

非线性动态范围调整：

• 线性映射不够光滑，所以用光滑的曲线来实现动态范围映射

对数变换：

• 傅里叶频谱被线性地缩放显示，最亮的像素将支配该显示，频谱中较低的值将被损失掉

幂律变换：$s=c{r}^{\gamma }$ , c 和 r 都是常数
$\gamma <1,提高灰度级，在正比函数上方，使图像变亮$
$\gamma <1,降低灰度级，在正比函数下方，使图像变暗$

灰度级分层：

• 突出图像中特定灰度范围的亮度，通常是很重要的

---

直方图：

灰度级范围为[0 , L-1] 的数字图像的直方图是离散函数 $h(r_k)=n_k$ ,其中rk是第k级灰度，nk是图像中灰度为rk的像素个数

归一化直方图：乘积MN表示所有的像素，除以各个分量表示归一化，通常M和N是图像的行和列

含义：灰度直方图是表示图像灰度的分布情况，是图像灰度密度函数的近似

• 横轴是灰度k，纵轴是出现此灰度的概率P（k）
• 直方图作用：反映不同灰度的区域在全图中的面积百分比，不能反映空间位置方面的任何信息
• 可以拿来观测图像的质量，偏亮或偏暗，一般灰度分布均匀的图像，细节丰富，且动态范围较大

均衡化定义：原图像通过某种变换，得到一幅灰度直方图为均匀分布的新图像的方法

• 变换函数的要求，灰度归一化

  • 当0 <=r <= 1,单调递增函数，保证灰度级从黑到白的次序不变
  • 当0 <= r <= 1, 有0<= T(r) <=1，确保映射后的像素灰度在允许的范围内
  • 存在反变换，即变换函数可逆

• 比原始图像的直方图平坦，且动态范围大大地扩展，对于对比度较弱的图像很有效

• 变换后灰度级明显减少了，这现象叫简并现象

局部直方图：

目的：增强图像中小区域的细节。
解决办法：以图像中每个像素的领域的灰度分布为基础设计变换函数

直方图特点

暗图像，直方图分量集中在灰度级的低端
亮图像，直方图分量集中在灰度级的高端

低对比度直方图较窄，集中于灰度级的中部
高对比度分布比较均匀

• 总结：
  • 高概率增强、低概率抑制
  • 灰度级简并
  • 不能严格均匀
  • 重复做没有意义

matlab代码

imhist() : 直方图

histeq() ：直方图均衡化

imread() 
im2double()

# 傅里叶变换
fft2() ：计算傅里叶变换
ifft()
fftshift()：将零点移到中心
iffshiftt()

rgb2gray()
im2bw() : 阈值变换 0/1
graythresh() 最优化阈值

# 空间滤波
imfilter()：自定义模板
fspecial() : 含预定义好的模板

# 频率域滤波
imfreqfilt()

# 彩色图像处理
rgb = im2double()
r = rgb(:,:,1)
g = rgb(:,:,2)
b = rgb(:,:,3)

---

空间域滤波

24. 空域滤波是指利用像素及像素邻域组成的空间进行图像增强的方法。

其原理是对图像进行模板运算。

模板运算的基本思路是将赋予某个像素的值作为它本身灰度值和其相邻像素灰度值的函数。

• 模板运算中最常用的是模板卷积，该方法在空域实现的主要步骤为：
  (1)将模板在途中漫游，并将模板中心与空域中某个像素位置重合；
  （2）将模板上的各个系数与模板下各对应像素点的灰度值相乘；
  （3）将所有乘积相加（为保持灰度范围，常将结果再除以模板的系数个数）；
  （4）将上述运算结果（模板的输出相应）赋给图中对应模板中心位置的像素。
  卷积的滤波器要旋转180°
  • 灰度变换：按一定的规则修改图像每一个像素的灰度，从而改变图像灰度的动态范围
  • 基于对比度：低于k灰度级更低，高于k的灰度级更高，对比度拉伸
  • 基于阈值：0/1二值化处理

25. 空域滤波器根据功能主要分成平滑滤波（avg，min,max）和锐化滤波(一阶微分-梯度算子，二阶微分-拉普拉斯算子)；

• 空间域滤波按线性和非线性划分：
  • 基于傅里叶变换分析的是线性滤波器
  • 直接对领域进行操作的是非线性空间滤波器
• 按功能分：平滑滤波、锐化滤波

平滑空间滤波

平滑的目的：消除噪声 ； 去除太小的细节或将目标内小的间断连接起来实现模糊

分类：均值滤波器、顺序统计滤波器、自适应滤波器

均值滤波器：

定义：包含在滤波器领域内像素的平均值
作用：减小图像灰度的尖锐变化，减小噪声 ； 存在边缘模糊的问题

• 算术均值滤波器
  • 中心为（x,y），尺寸为m*n的矩形窗口
  • 平滑了一幅图像的局部变化，去除小的细节
  • 模糊了结果的同时减小了噪声
    • 适用于高斯、均匀噪声
  • 减小图像灰度的尖锐变换，边缘会模糊
• 几何均值滤波器
  • 几何均值滤波器达到的平滑度可以与算术均值滤波器相比
  • 几何均值滤波器在滤波过程中会丢失更少的图像细节，相对锐化
    • 适用于高斯、均匀噪声
• 谐波均值滤波器
  • 对于“盐”噪声效果好，但不适用于胡椒噪声
    • 善于处理高斯噪声，脉冲噪声等
• 逆谐波滤波滤波器
  • Q为正数：消除胡椒噪声，Q=0，就是均值滤波器
  • Q为负数：消除盐噪声，但不能同时消除椒盐噪声，Q=-1，谐波均值滤波器
    • 善于处理高斯噪声，脉冲噪声等
    • 事先要知道Q的符号

---

统计排序滤波器

• 中值滤波器

  • 在相同尺寸下，在去除噪声的同时，可以比较好的保留边的锐度和图像的细节，比起均值滤波器引起的模糊少
  • 对单极或双极脉冲噪声非常有效
  • 以黑白点叠加在图像上

• 最大值滤波器

  • 用于发现图像中的最亮点
  • 突出细节，增强被模糊的细节
  • 可以有效过滤胡椒噪声（胡椒噪声一般是非常低的值）

• 最小值滤波器
  -发现图像中的最暗点

  • 可以有效过滤盐噪声（盐噪声一般是非常高的值）

• 中点滤波器

  • 结合了顺序统计和求和平均
  • 对于高斯和均匀随机分布这类噪声有最好的效果

• 修正的阿尔法均值滤波器

  • 在领域内去掉最高灰度值的d/2, 和最低灰度值的d/2
  • d=0,算术均值滤波器 ； d = (mn-1)/2 ，退变为中值滤波器，d为其他值，适用于多种噪声混合的情况

---

• 自适应滤波器：行为变化基于m*n的矩形窗口和领域内图像的统计特征
  • 性能更优，算法也更复杂
• 自适应局部噪声消除滤波器
  • 需要知道或估计的未知量是噪声方差
  • 其他参数可以从领域内的像素计算出来
• 自适应中值滤波器
  • 传统中值滤波器只能处理空间密度不大的冲激噪声，但是自适应能够处理具有更大概率的冲激噪声
  • 平滑噪声时保留细节
  • 除去椒盐噪声，平滑其他非冲激噪声，减少物体边界细化或者粗化等失真

---

锐化空间滤波器

用途：突出图像的细节，增强被模糊的细节 ； 细微层次的强调；边缘提取； 锐化处理过度钝化的图像

微分滤波器

原理：均值的效果是钝化，均值和积分类似，那么微分的效果就是相反的

二阶微分，一阶微分，锐化

Roberts梯度算子（4点差分）：

• 优点：4点差分求梯度，简单
• 缺点：对噪声敏感，用于不含噪声的边缘点检测

平滑梯度算子：

• Prewitt梯度算子（平均差分）：
  • 先求平均，再差分求梯度
• Sobel算子（加权平均差分）：
  • 对当前行或列对于值进行加权，再进行平均和差分
  • 这俩都能抑制噪声

拉普拉斯算子：

• 对噪声敏感，幅值产生双边缘，不能检测边缘的方向

LoG算子（高斯型拉普拉斯算子）：

• 高斯函数进行平滑、拉普拉斯算子进行幅值，用零交叉确定边缘位置
• 抑制噪声、反干扰

---

频率滤波

26. 图像变换：

    1. 将图像看成是线性系统，图像在空域上具有很强的相关性
    2. 图像变换是将图像从空域变换到其他域，如频率域的数学变换
    3. 借助于正交变换的特性可使空域上的复杂计算转换到频域之后得到简化
    4. 借助于频域特性的分析，将更有利于获得图像的各种特性和进行特殊处理
    5. 满足正交、完备两个条件的函数集合或矩阵才能用于图像分析

27. 为什么要在频率域研究图像增强？
    （1）可以利用频率成分和图像外表的对应关系。一些在空间域表述困难的增强任务，在频率域变得非常普通。
    （2）滤波在频率域更为直观，它可以解释空间域滤波的某些性质;
    (3)可以在频域指定滤波器，做反变换然后在空间域使用结果滤波器作为空间域滤波器的指导。
    （4）一旦通过频率域试验选择了空间滤波，通常实施都是在空间域。

对比空间域滤波：

• 空间域滤波模板的尺寸难以扩大，使滤波增强所需信息局限在较小的局部区域，难以获得更为理想的结果
• 空间域不能处理较为复杂的杂波去除、多特征增强等

傅里叶变换

• 任何周期函数只要满足狄利赫里条件，都可以用正弦和余弦函数构成无穷级数，即以不同频率的正弦和余弦函数的加权和来表示
• 非周期性函数，可以先进行周期延拓，使其变成周期函数，然后傅里叶级数展开

连续函数的一维/二维傅里叶变换及反变换：

• 连续函数内部有无穷多个点，无法直接套用正交变换的内积公式，可以借鉴积分的思想，把函数在一段区间分割成一份一份，这样每一份的取值合起来可以组成一个向量，可以用向量的内积来表示函数是否正交（相互正交积分为0）
  

傅里叶变换后取样：

• 每隔一段时间T，对连续函数进行采样
• 采样率（1/T）足够高，以便在周期之间提供有效清晰的间隔，并保持原函数的完整性；采样率小了，周期融合，不能保证原函数的完整性
• 采样后的函数的周期是采样率，只需要一个完整的周期就能经过反变换恢复原函数

采样定理

• 带限函数：以原点为中心的有限区间（带宽）$[-\mu ,\mu ]$之外的频率值，其傅里叶变换为零，这样的函数叫带限函数。

定理：

• 如果拷贝的间距足够，从采样后的函数经傅里叶变换后提取一个单周期使其等于原函数是可能的

• 如果 $\frac{1}{T}>2{\mu }_{max}$，就能保证有足够大的间距

• 公式的意思：以超过函数的最高频率的两倍的取样率来取样，连续的带限函数完全可以从它的样本集恢复。

• 奈奎斯特定理：要想精确地复原图像，空间分辨率必须小于等于图像的最小周期的一半；采样频率必须大于图像最大频率的两倍

二维取样定理

带限函数有两个频率：$[-\mu ,\mu ],[-v,v]$ 两个频率，这俩频率之外的都为0

采样率满足$\frac{1}{T}>2{\mu }_{max}且\frac{1}{T}>2v_{max}$

• 解释：如果一个二维带限连续函数在u和v两个方向上以大于该函数最高频率的两倍的取样率取样获得的样本表示，则没有信息丢失

---

• 混淆：采样率小于最高频率的两倍，效果是周期重叠，不管用什么滤波器，都不可能分离变换出单个周期
• 抗混淆：通过平滑输入函数减少高频分量的方法来降低混淆的影响（必须在取样之前完成，取样之后不能消除）

---

离散傅里叶变换

---

冲激函数及取样特性：
连续变量t,z

$$\begin{gathered} T(t,z)=无穷当t=z=0时，其他情况=0 \\ 二维积分为1 \end{gathered}$$

• 连续函数取样特性：
  • $f(t,z)T(t,z)二维积分=f(0,0)$
  • $f(t,z)T(t-t_0,z-z_0)二维积分=f(t_0,z_0)$
• 离散函数取样特性：同连续函数一样，积分变累加

二维傅里叶变换的性质

• 对称性：

  • 如果f(x,y)是是实函数，$F(u,v)=F(-u,-v)$
  • 频率谱对称$|F(u,v)|=|-F(u,v)|$

• 平移变换：

  • $f(x,y)(-1{)}^{x+y}<=>F(u-M/2,v-N/2)$
    • 表示在频率域把原函数傅里叶变换后的频域中心移动到新的位置
  • $f(x-M/2,y-N/2)<=>F(u,v)(-1{)}^{u+v}$
    • F(u,v)表示与一个指数项相乘就相当于把其变换后的空域中心移动到新的位置
    • f(x,y)的平移不影响其傅里叶变换

• 尺度变换

  • $af(x,y)=aF(u,v)$
  • $f(ax,by)=\frac{1}{|ab|}F(u,v)$

• 旋转性

  • 用极坐标表示 f(x,y)选择多少角度，F(u,v)也选择多少角度

• 周期性与共轭对称性

  • $F(u,v)=F(u+M,v)=F(u,v+N)=F(u+M,v+N)$
  • $f(x,y)=f(x+M,y)=f(x,y+N)=f(x+M,y+N)$
  • 说明只需要一个周期的变换就能将F(u,v)在频域内完全确定，空间域同理

• 分离性

  • 二维傅里叶变换全过程
    • 先通过输入图像的每一行计算一维变换
    • 再沿中间结果的每一列计算一维变换
    • 行列变换顺序无所谓
    • 二维傅里叶反变换同理

• 卷积

  • 大小为M ，N的两个函数f(x,y),h(x,y)的离散卷积 $f(x,y)\ast h(x,y)=\frac{1}{MN}{\sum }_m{\sum }_{n}f(m,n)h(x-m,y-n)$
  • 卷积定理：
    • $f(x,y)\ast h(x,y)=F(u,v)H(u,v)$
    • $f(x,y)h(x,y)=F(u,v)\ast H(u,v)$

• 相关性

  • $f(x,y)\ast h(x,y)=\frac{1}{MN}{\sum }_m{\sum }_{n}f(m,n)h(x+m,y+n)$

FFT

思想：

1. 通过计算两个单点的DFT，来计算两个点的DFT
2. 计算两个双点的DFT，来计算四个点的DFT，以此类推
3. 只要是$N=2^m$个的点的计算，都可以用两个N/2点的DFT来计算N个点的DFT

频率域滤波

• 第一步详解：中心变换：平移到频率矩形的中心（M/2 , N/2）
• 第三步详解：$G(u,v)=H(u,v)F(u,v)$ 滤波器函数
• 第四步详解：计算$G(u,v)$的IDFT，结果为：$g(x,y)=real\ast (-1{)}^{x+y}$

28. 傅里叶变换的频率分量和图像空间特征之间的联系
    （1）变化最慢的频率成分（u=0,v=0）对应着一幅图像的平均灰度级；即，F(0,0) = avg( f(x,y) )
    （2）当从变换的原点逐渐移开时，低频对应着图像的慢变化分量，如图像的平滑部分；
    （3）进一步离开原点时，较高的频率对应着图像中变化越来越快的灰度级，如边缘或噪声等尖锐部分。

---

频率域滤波增强的原理

• 空间域图像增强的基础理论：线性系统滤波 $g(x,y)=h(x,y)\ast f(x,y)$
• 由傅里叶变换中的卷积定理得 ：$G(u,v)=H(u,v)\ast F(u,v)$
• F(u,v) : 待增强图像f(x,y) 的傅里叶变换，定义了待增强图像f(x,y)分解为一系列基图像后的加权系数
• H(u,v)对应于空间域线性系统单位冲击响应函数的傅里叶变换，称之为传递函数或滤波器函数
• 频率域滤波增强：
  • 通过H(u,v)对f(x,y)的分解为基图像后，对加权系数的修改，从而实现图像的增强
  • 说人话：构造一个滤波器，刻意的去提升某些频率分量、压低或去除另一些分量，从而达到图像增强的目的

频率域的变换系数：

1.频谱的直流低频分量（变化的慢的）对应于图像的平滑区域
2.频谱的高频分量（变化的快的）对应于图像的边缘或变化剧烈区域
3.外界叠加噪声对应于频谱中频率较高的部分
4.恒定的干扰条纹对应于频谱中某些特点

29. 频率域的滤波步骤：
    1. 用（-1）x+y乘以输入图像进行中心变换;
    2. 计算（1）中的FFT 得到 F(u,v)
    3. 用滤波器函数H(u,v)乘以F（u，v）
    4. 计算结果中的反FFT
    5. 得到（4）中结果的实部
    6. 用（-1）x+y乘以（5）中的结果，取消输入图像的乘数

基本思想：通过滤波器函数以某种方式来修改图像变换，然后通过取结果的反变换来获得处理后的输出图像

---

空域：f(x,y)， h(x,y)
频域：F(x,y)， H(x,y)

• 空域卷积可以通过频域乘积的反傅里叶变化得到
• 空域乘积可以通过频率域的卷积得到

滤波器h(x,y)和H(x,y):

• 空间域和频率域中的滤波器组成了傅里叶变换对（可逆），空间域滤波器傅里叶变换得到频率域滤波器；频率域滤波器反傅里叶变换得到空间域滤波器
• 空间域一般使用更小的滤波器模板

频率域滤波器

带阻、带通、陷波、最佳陷波滤波器

• 带阻滤波器：阻止一定频率范围内的信号通过而运行其他频率范围内的信号通过，消除或者衰减傅里叶变换原点处的频段
• 带通滤波器：允许一定范围内的信号通过而阻止其他频率范围内的信号通过
• 陷波滤波器
  • 阻止或通过事先定义的中心频率领域内的频率
  • 傅里叶变换是对称的，陷波滤波器必须是关于原点对称的形式出现
  • 如果陷波滤波器位于原点处，则以它本身形式出现
  • 令图像的均值为0，其他频率成分不变；整体平均灰度级降低
  • 用于识别特定的、局部化频域成分的空间图像效果

低通滤波器：

• 低频率通过，高频率阻碍削弱，弱化图像的锐部和边缘
• H（u）的轮廓大（方差大）时，H（x）轮廓小（方差小），反之亦然
• 低通滤波器在空间域和频率域中都为正，所以在空间域使用带正系数的模板可以实现低通滤波
• 少尖锐细节突出平滑部分，如均值滤波器
• 频率域低通滤波器越窄，滤除的低频成分就越多，使得图像越模糊；
• 空间域的话就是滤波器越宽，模板就越大，且空间域滤波效果取决于空间模板的大小

高通滤波器：

• 使高频通过而使低频衰减的滤波器
• 少灰度级的平滑过渡，而突出边缘细节部分
• 空间域滤波器有正值和负值，一旦值变为负值，就再也不会变到正值
• 对比空间域的梯度算子

为什么频率域中的内容在空间域要使用小空间模板？

• 频率域可以凭借直观指定滤波器
• 空间域滤波效果取决于空间模板的大小

频率域平滑滤波器

• 边缘和噪声等尖锐变化处于傅里叶变换的高频部分
• 平滑可以通过衰减高频成分的范围来实现
• 理想低通滤波器ILPF：尖锐
  • 截断傅里叶变换中所有高频成分，这些高频成分处于指定距离D0之外
  • 半径为D0的圆内，所有频率无衰减地通过滤波器，半径之外的全部完全衰减掉
  • 半径D0越小，模糊越大（大部分尖锐信息被去掉，产生边缘模糊的现象），反之亦然
  • 被平滑的图像被一种非常严重的振铃效果影响
• 高斯滤波器GLPF：平滑
  • GLPF 不能达到有相同截止频率的二阶BLPF的平滑效果
  • GLPF没有振铃
  • 如果需要严格控制低频和高频之间的截止频率的过渡用BLPF，代价是可能产生振铃
• 巴特沃思低通滤波器BLPF：处于理想和高斯滤波器之间，低频和高频之间平滑过渡的结果
  • D0为截至频率距原点的距离
  • 图像由量化不足产生虚假轮廓时，用低通滤波改善质量
  • 平滑效果好于ILPF，没有振铃现象
  • 没有明显的跳跃，模糊程度减少，尾部含有较多的高频，对噪声平滑不如ILPF

低通滤波器的应用实例

• 字符识别
• 印刷和出版业，一幅尖锐的原始图像产生平滑、柔和的外观，如人脸、减少皮肤细纹的锐化程度和小斑点
• 处理卫星和航空图像：尽可能模糊细节，而保留大的可识别特征

消除不重要的特质来简化感兴趣的特质的分析

---

低通的滤波器全部和高通滤波器对应

为什么要进行高频提升和高频加强？

• 高频滤波后的图像，其背景平均强度减小到接近黑色
  • 解决办法：把原始图像加到过滤后的结果（处理后的图像累加原图像），高频提升过滤
• 高频提升加强
  • 用图像的高频成分进行增强
  • 增加a , 目的是使零频率不被滤波器过滤

高通滤波器

三种：理想高通、巴沃思特、高斯

• 频率域拉普拉斯算子：$g(x,y)=f(x,y)-{\delta }^{2}f(x,y)$
  原始图像 - 拉普拉斯算子 = 增强图像

• 钝化模板：一幅图像 - 自身模糊图像生成锐化图像

  • 自身 - 低通 = 高通

同态滤波

把不同的分量分开压缩低频、提升高频，达到减弱照度分量、提升反射分量，达到清晰图像的目的

• 减少低频部分，扩大了高频部分，即压缩了有效范围又扩大了对比度

---

彩色图像处理

彩色图像处理技术可分为两大类：伪彩色处理技术、真彩色处理技术
杆状细胞：暗视器官
锥状细胞：明视器官，能够分辨颜色
颜色的三种主观感觉：色调、饱和度、亮度

• 什么是伪彩色图像处理？
  • 根据一定的准则对灰度值赋予彩色的处理（灰度变彩色）
• 为什么需要伪彩色图像处理？
  • 人类可以辨别上千种颜色和强度，只能辨别二十几个灰度
• 如何进行伪彩色图像处理？
  • 强度分层技术 和 灰度级彩色转换技术

---

彩色模型

RGB：面对硬件设备
HSI：面对彩色处理，视觉效果

HSI

色度: 物体反射光线中占优势的波长来决定的
饱和度：一个颜色的鲜明程度
亮度：光波作用于感受器所发生的效应

• 亮度和色度是分开的，相互独立
• 亮度和彩色信息无关

HSV

颜色空间量化：等间隔量化、非等间隔量化
H分8份；S饱和度，V亮度分三份

伪彩色处理

定义：根据一定的准则对灰度值赋以彩色的处理

强度分层技术：

• 把一幅图像描述为三维函数（x,y,f(x,y)）
• 分层：放置平行于（x,y）坐标面的平面
• 每一个平面在相交区域切割图像函数

定义：令[0,L-1]表示灰度级，使L0表示黑色，Lk-1表示白色

假设垂直于强度轴的P个平面定义为量级L1-Lp,P个平面把灰度级分为P+1个间隔，V1，V2，…，Vp+1,则灰度级到彩色的赋值关系 ：f(x,y)=Ck
Ck是与强度间隔Vk，第K级强度有关的颜色

• 强度和颜色对应

---

灰度彩色变换：

• 对任何输入像素的灰度级执行3个独立变换
• 3个变换结果分别送入彩色监视器的红绿蓝三个通道，然后产生合成图像

---

全彩色处理

分为两类：

• 分别处理每一分量图像
• 直接对彩色图像像素处理：一个像素向量由3个颜色分量表示 c = (R,G,B)

彩色变换

每一个点由n个彩色分量组成，T变换函数对每一个彩色分量进行映射变换 ；RGB=3

彩色图像处理

彩色图像平滑

• Sxy表示在RGB彩色图像中定义一个中心在（x,y）的领域坐标集，在该领域中RGB分量的平均值为每一个分量的平均值

彩色图像锐化

• RGB空间，分别计算每一分量图像的拉普拉斯变换（二阶导数）

图像复原

30. 图像复原概念
    • 目的：在于消除或减轻在图像获取及传输过程中造成的图像品质下降问题（改善图像质量），即退化现象，恢复图像本来的面目
    • 图像增强是一个主观过程，而图像复原主要是一个客观过程
    • 图像复原技术追求恢复原始图像的最优估值

图像复原基本流程：

1.根据图像退化的先验知识建立一个退化模型
2.以此模型为基础，采用各种反退化处理方法，使复原后的图像符合某些准则
3.图像质量得到改善

图像复原的问题：
1.要有退化降质的先验知识，需要有退化函数的准确估计
2.退化函数很难估计，相机抖动，3D复制运动，成像过程复杂

• 问题所在：模糊图像所含信息不够，不足以很好地恢复图像

解决办法：正则化，因此需要各种约束条件（最平滑约束等等）

31. 图像复原与图像增强的区别于联系

	图像增强	图像复原
技术特点	不考虑图像降质的原因，只将图像中感兴趣的特征有选择地突出，衰减其不需要的特征；改善后的图像不一定要去逼近原图像 ；主观过程	考虑图像降质的原因，建立降质模型；要建立评价复原好坏的客观标准；客观过程
主要目的	提高图像的主观效果	提高图像的逼真度
方法	空间域法和频率域法	线性复原

32. 根据概率密度分布，噪声分为：
    • 高斯噪声、瑞利噪声、伽马噪声、指数分布噪声、均匀分布噪声和脉冲噪声。
    1. 高斯噪声源于电子电路噪声和由低照明度或高温带来的传感器噪声
    2. 瑞利噪声对分布在图像范围内特征化噪声有用
    3. 伽马分布噪声和指数分布噪声常见于激光成像噪声
    4. 脉冲噪声用于成像中的短暂停留中，如错误的开关操作。
    • 噪声的图像没什么区别，但是直方图和他们的概率密度函数曲线相似
33. 噪声参数的估计
    （1）周期性的噪声（从电力、机电干扰中产生）参数是通过检测图像的傅里叶谱来估计；可通过频域滤波减少
    （2）噪声PDF（概率密度函数）的参数一般可以从传感器的技术说明中得知，对于特殊成像系统可以获得一组平坦环境的图像；
    （3）当仅有通过传感器生成的图像可用时，通常由合理的恒定灰度值的小部分来估计PDF参数

空间域滤波复原

• 当唯一退化是噪声时，噪声项未知，不能从g(x,y)或G(u,v)减去噪声
• 此时选空间域滤波

---

频率域滤波复原

• 带通
• 带阻
• 巴特沃斯
• 高斯

---

34. 如何估计模糊函数

    1. 观察法：收集图像自身信息 的信息来估计退化函数

       例如： 对于一幅模糊图像，应首先提取包含简单结构的一小部分图像，为减少观察时噪声的影响，通常选取信号较强的内容区，然后根据这部分的图像中目标和背景的灰度级，构建一幅不模糊的图像，该图像与观察到的子图像应该具有相同的大小和特性
       $$H(u,v)=\frac{G(u,v)}{F(u,v)}$$
       G:观察子图像，F构建的子图像
       根据这一特性，假设位置不变，可以推出H（u,v）

    2. 实验法，使用类似的系统装置得到图像退化·估计

    3. 数学建模

35. 图像退化数学模型
    • 在图像恢复过程中，一般都需要用到退化函数，因此在图像恢复之前需要对退化函数进行辨识

---

退化模型先验知识：
1. h（m,n）具有确定性且非负
2. h（m,n）具有有限域支持
3. 退化过程不损失图像的能量，即h（m,n）的积分为1.

• 常见退化模型：
  H(u,v)，G(u,v)， F(u,v) 分别表示 点扩散函数/退化函数h(x,y),退化图像g(x,y),原始图像f(x,y) 的傅里叶变换

  • 线性运动退化函数：线性运动退化是由于目标与成像系统之间的相对匀速直线运动造成的退化。
  • 散焦退化函数：根据几何光学的原理，光学系统散焦造成的图像退化效应的点扩散函数应该是一个均匀分布的圆形光斑
    • 信噪比高，频率域上可以观察到圆形的轨迹
  • 高斯退化函数：高斯退化函数是许多光学测量系统和成像系统最常见的退化函数。影响系统点扩散函数的因素比较多，点扩散函数趋于高斯型
    • 二维高斯函数能分解成两个一维高斯函数的乘积

---

36. 逆滤波复原法和维纳滤波图像复原matlab程序实现；
    • 逆滤波复原：已知退化图像的傅里叶变换函数和滤波传递函数，经过傅里叶反变换求得原始图像

    提取方法：M(u,v)
    公式：$F(u,v)=\frac{G(u,v)}{H(u,v)}$
    已知退化图像的傅里叶变换和滤波函数，可以求得原始图像的傅里叶变换，经傅里叶反变换就可以求得原始图像，G(u,v)/H(u,v)起到了反向滤波的作用

    • 维纳滤波复原：
      • 维纳滤波器：复原图像与原图像之间的均方误差最小的滤波器
      1. 对退化图像g（x,y）进行二维离散傅里叶变换，得到G（u,v）
      2. 计算系统冲击响应h（x,y）的二维离散傅里叶变换，得到H（u,v），并将h（x,y）的尺寸拓展至g（x,y）的尺寸
      3. 估算噪声的功率谱Pn（u,v）和输入图像的功率谱Pf(x,y)
      4. 依据公式计算F（u,v）
      5. 计算F(u,v)的傅里叶反变换，求得还原图像
    • 维纳滤波的特点：
      • 系统冲激响应h(x,y)=0或很小的时候，不会引起较大的误差
      • 噪声功率谱Pn(u,v)=0时，维纳滤波法变成了逆滤波复原法
      • 输出图像功率谱Pf(u,v)=0，F(u,v)=0, 无法复原
      • 对于受噪声影响的图像，维纳滤波的效果好于逆滤波

---

逆滤波复原函数定义：

function I_new =rev_filter(I,H,threshold)   #逆滤波函数，H传递函数，threshold为逆滤波半径，I_new返回值
I_new = rev_filter(I,H,threshold)
if ndims(I) > 3   #若为彩色图像，变为灰度图像
	I = rgb2gray(I);
end

Id = im2double(I);
f_Id = fft2(Id);	#傅里叶变换函数
f_Id = fftshift(f_Id);
fH_Id = f_Id;
[M,N] = size(fH_Id)

if threshold > M/2 
	fH_Id = fHId./(H+eps);  # 全滤波
else  # 对一定半径范围内进行滤波
	for i=1:M
		for 1:N
			if sqrt((i-M/2).^2 + (j-N/2).^2) < threshold
				fH_Id(i,j) = fH_Id(i,j)./(H(i,j)+eps);
				end
			end
		end
	end
# 执行傅里叶逆变换	
fH_Id1 = ifftshift(fH_Id);
I_new = ifft2(fH_Id1);
I_new = uint8(abs(I_new)*255)

维纳滤波：

function I_new = wn_filter(I,H,threshold)
f_Id = fft2(Id);
f_Id = fftshift(f_Id);
fH_Id = f_Id;
D=abs(H);
D=D.^2;

[M,N]=size(fH_Id)./(H+eps);
if threshold>M/2 
	fH_Id = fH_Id./(H+eps);
else
	for i=1:M
		for j=1:N
			if sqrt((i-M/2).^2+(j-N/2).^2)<thrshold
				#维纳滤波
				fH_Id(i,j)= fH_Id(i,j)./H(i,j).*(D(I,j)./(D(i,j)+K));
				end
			end
		end
	end
			

37. 图像复原与逆滤波的联系和区别
    • 已知退化函数、滤波传递函数的傅里叶变换，经傅里叶反变换（反向滤波的作用）可以得到原图像
38. 各种空间滤波器和频域滤波器
    • 空间滤波器
      • 均值滤波器（算数、几何、谐波、逆谐波）
      • 顺序统计滤波器（中值、最大值、最小值、中点）
      • 自适应滤波器（局部噪声、中值）
    • 频域滤波器
      • 带阻滤波器
      • 带通滤波器
      • 陷波滤波器
      • 最佳陷波滤波器

---

图像分割

三个任务：图像分割、语义分割、实例分割

39. 图像分割的概念?
    将分属不同物体的像素区域分开
    • 定义：令集合R代表整个图像区域，对R的分割可看作将R分成N个满足以下五个条件的非空子集
    1. 完备性：分割完全部子区域的并集等于所有像素
    2. 独立性：各子区不重叠
    3. 单一性：不同子区具有一些相同的特性
    4. 互斥性：不同子区具有某些不同特性
    5. 连通性：同区域像素具有连通性

---

图像分割的基本步骤:

（1）把图像分割成不同的区域或把不同的对象分开；
（2）找出分开的各个区域的特征；
（3）识别图中要找的对象或对图像进行分类；
（4）对不同的区域进行描述或找出不同区域的相互联系，进而找出相似结构或将相关区域连成一个有意义的结构。

---

40. 图像分割算法的基本策略：
    • 基于灰度值的两个基本特性：不连续性和相似性。
    • 检测图像像素灰度级的不连续性，找到点、线（宽度为1）、边（不定宽度）。
    • 先找边，后确定区域。
    • 检测图像像素灰度值的相似性，通过选择阈值，找到灰度值相似的区域，区域的外轮廓就是对象的边。

图像分割方法分类：边缘检测法；区域分割法

一阶导数：检测边缘，即是否在斜坡上
二阶导数：检测边缘，判断处于亮的一边还是暗的一边
噪声边缘：一阶导数最大，二阶导数为0

边缘特点：

1.局部特性不连续
2. 边缘位置的微分特性
3.幅度和方向性

41. 几种常用的边缘检测算子
    边界定义：是两个具有相对不同局部特征的区域的边界线

    • Roberts梯度算子（4点差分法）：
      Wh =
      [[-1 0 0]
      [0 1 0]
      [0,0,0]]

    Wv = 
    [0,-1,0] 
    [1,0,0] 
    [0,0,0]
    

特点：

• 用4点进行差分，以求得梯度方法简单
• 对噪声敏感，用于不含噪声的图像边缘点检测

平滑梯度算子（平均差分）：

1. Prewitt梯度算子
   • 先求平均，再差分来求梯度
   • 水平、垂直分开，再求和
2. Sobel算子（加权平均差分）：
   • 先加权，再平均和差分
3. 各向同性Sobel算子

特点：

• 抑制噪声
• 平均时会丢失信息，使边缘有一定模糊

拉普拉斯算子：

• 90度和45度为增量的旋转变换
• 对噪声敏感，幅值产生双边缘，不能检测边缘方向

LoG算子

• 用高斯函数进行平滑
• 使用拉普拉斯算子提供一幅零交叉定位边缘位置的图像
  • 边缘比梯度细，由许多零交叉点决定
• 能抑制噪声，具有反干扰性

边缘跟踪：

• 边缘跟踪的方法：局部边缘连接法；光栅扫描跟踪法；Hough变换法
  • 意义：由于噪音的原因，边界特征很少能够被完整的描述，在亮度不一致的地方会中断
  • 概念：将检测的边缘点连接成边缘线就是边缘线跟踪

门限化处理：

原理：同一分割区域内由灰度值临近的像素点组成，目标物和背景、不同目标物之间灰度值有明显差异，可通过门限划分

• 目标和背景灰度一致性有明显差别的图像分割效果好
• 此方法只使用于将图像分割成两个区域，多种目标不奏效

灰度门限的确定：1. 极小值点阈值 2. 最优阈值

区域分割法

• 利用同一区域内灰度值的相似性，将相似的区域合并，把不相似区域分开，最终形成不同的分割区域

图像几何变换

平移变换

• 平移后景物和原图像相同，但画布一定扩大了的，缺失掉的用0或255代替
• 相位变了，幅值没变

镜像变换

图像旋转

• 以图像的中心旋转，将图像上的所有像素都旋转一个相同的角度
• 相位改变，幅值也变
• 旋转是通过计算实现的，会不连续、缺失（近似取整），要进行插值（基于当前行列，空点等于前一点的像素值）

图像形状变化

放大：复制，用插值方法（最近邻…）

缩小：等间距取样、局部均值取样

错切：非垂直投影