2020高级数字图像处理复习笔记

学习高级图像处理课程，以及《数字图像处理》书本的内容总结

第一章 绪论

• 模拟图像就是生活中接触到的各类图像，照相机所拍的照片、医学所用的光底片一类的光学图像以及眼睛所看到的一切景物图像等，它们都是由连续的各种不同的颜色、亮度的点组成的。这类图像无法用数字计算机直接进行处理
• 要使模拟图像在数字计算机中进行处理，就必须将模拟
  图像转换为用一系数据所表示的图像，这就是所谓的数字图像。
  将模拟图像转换成数字图像的过程，称为图像数字化
• 图像处理是一个从图像到图像的过程。
  图像分析是一个从图像到数据的过程。

图像处理->图像分析->图像理解

---

第二章 数字图像基础

一丶亮度适应和鉴别

主观亮度（即由人的视觉系统感知的亮度）是进入人眼的光强的对数函数。
人眼的视觉系统能适应的光的亮度等级从可以看见的昏暗到炫目相差达到 $10^{10}$等级，但是人眼并不能同时在那么大的范围内看清物体，而只能在同一时间内适应一个小的亮度变化范围 $10^6$。在一定条件下，一个视觉系统当前的敏感度叫亮度适应级。
在实验中，逐渐增加照射分量$\Delta I$，形成一个持续时间很短的闪烁，该闪烁以均匀广场中央的圆形方式出现，如下图所示：

如果$\Delta I$不够亮，则目标不变，表明没有可觉察的变化，当$\Delta I$逐渐加强时，目标会给出肯定的响应，指出是一个可查觉的变化。最后当$\Delta I$足够强时，目标将始终给出肯定的响应。$\Delta I_c/I$成为韦伯比，其中$\Delta I_c$是在背景照明为I时可辩别照明增量的50%。
$\Delta I_c$值较小意味着可辩别强度较小的百分比变化，这表明亮度辨别能力较好。
$\Delta I_c$值较大意味着要求有较大的强度的百分比变化，这表示亮度辨别能力弱。

这一曲线表明，在低照明级别，亮度辨别较差（韦伯比大），且它会随着背景照明强度的增加该明显改善（韦伯比逐渐降低），曲线中两个分支表明，在地照明水平下视觉有杆状体执行，高照明水平下由锥状体执行，表示有较好的辨别能力。

二丶感知亮度并不是强度的简单函数

1. 视觉系统往往会在不同强度区域的边界处出现“上冲”或“下冲”现象，如上图所示，虽然条带的强度恒定，但在靠近边界处我们实际上感知到了带有毛边的亮度模式，这种带有毛边的带称为马赫带。

2. 同时对比现象：感知区域的亮度并不简单地取决其强度。
   
   所有中心方块都有相同的亮度，然而随着背景变得更亮，他们在眼睛里会变得更暗。

3. 主观错觉

三丶图像感知和获取

对于单色图像f的取值范围称为灰度级
$$f(x,y)=i(x,y)r(x,y)$$
其中 0

四丶图像的取样和量化

上图中显示了一副连续图像f，为将它转换为数字形式，必须对坐标和幅度都进行取样操作（沿着直线AB等间隔取样）。对坐标值进行数字化称为取样，对幅值数字化称为量化。

数字图像表示：

     由一幅图像的坐标张成的实平面部分称为空间域，x和y称为空间变量或空间坐标。

1. 对比度：最高（饱和度）和最低（噪声）灰度级间的灰度差。
2. 存储空间：b = M $\times$ N $\times$ k
   当一幅图像有$2^k$个灰度级时，实际上通常称该图像为一幅“k比特图像”。
   
   灰度级数一般取2的整数次幂 $L=2^k$
   空间和灰度分辨率：空间和灰度分辨率直接影响图像质量
   
   • 灰度分辨率：灰度$2^k$灰度级，k比特
   • 空间分辨率：矩阵M×N。

考虑空间和灰度分辨率变化对图像主观质量有何影响？

妇女脸庞图像是包含较少细节的代表性图像，摄像师图像包含了中等程度的细节，人群图像相比之下包含有大量的细节。通过改变N（空间分辨率）和k（灰度分辨率），生成三种类型的一组图像，要求观察者主观的按图像质量对图像排序，得到等偏爱曲线。

• 等偏爱曲线
  
  从上图中可以得到什么结论？
  当图像中的细节增加时，等偏爱曲线会变得更加垂直，这一结果表明，对于有大量细节的图像，可能只需要较少的灰度级，这类图像（人群）的感觉质量与所用灰度级数近似无关。
  k值减小倾向于对比度（最大像素值/最小像素值）增加，人们通常感受到图像质量改善了视觉效果

• 图像插值 （图像缩放本质可以看出是数值插值）
  最近邻插值、双线性插值、双三次插值
  博客：https://blog.csdn.net/caomin1hao/article/details/81092134

  
  

五丶 像素间关系：邻接性、连通性、区域和边界

• p邻接性
四邻域：如果q在$N_4(p)$集中，具有V中数值的两个像素p和q是4邻接的。
八邻域：如果q在$N_8(p)$集中，具有V中数值的两个像素p和q是8邻接的。
m邻域（混合邻接）：如果（i）q在$N_4(p)$中，或者（ii）q在$N_D(p)$中且集合$N_4(p)\bigcap N_4(q)$没有V值的像素，则具有V值的像素p和q是m邻接的。
• 连通性
关于连通性的几个定义： 通路、通路长度、闭合通路、连通分量、连通集
• 区域：一个连通集称为一个区域
邻接区域、非邻接区域
*注意确定是否是邻接区域要事先定义采用何种邻接
• 边界
区域R的边界是这样的点的集合，这些点与R的补集中的点邻接。
*注意采用何种邻接
内边界、外边界
如果R是整幅图像，那么用四周边缘作为边界

六丶 距离度量

$对于坐标分别为(x,y),(s,t)和（v,w）的像素p,q,z，如果$
$1.D(p,q)>=0[D(p,q)=0,当且仅当p=q]$
$2.D(p,q)=D(q,p)且D(p,z)<=D(p,q)+D(q,z)$
则D是距离函数或度量。

• 欧氏距离

$$D_4(p,q)=[(x-s{)}^2+(y-t{)}^2{]}^{1/2}$$

• 街区距离

$$D_4(p,q)=|x-s|+|y-t|$$

• 棋盘距离

$$D_4(p,q)=max(|x-s|,|y-t|)$$

---

第三章 灰度变换与空间滤波

一丶基础知识

空间域：直接在图像像素上操作。
频率域：在变换空间中操作。
二者关系：空间域与频率域可互相转换。在频率域中可以引用已经很成熟的频率域技术,处理的一般步骤为：
①对图像施行二维离散傅立叶变换或小波变换,将图像由图像空间转换到频域空间。
②在频率域中对图像的频谱作分析处理,以改变图像的频率特征。即设计不同的数字滤波器,对图像的频谱进行滤波。
空间域处理可由下式表示：
$$g(x)=T[f(x,y)]$$
式中，$f(x,y)$是输入图像，$g(x,y)$是处理后的图像，T是在点$(x,y)$的邻域上定义的一种算子。

点处理技术: 结果仅仅取决于一个点的灰度。

邻域处理技术

其中邻域与预定义的操作一起称为空间滤波器（也称空间掩膜、核、模板、窗口）。

二丶一些基本的灰度变换函数

1. 图像反转

适用于增强嵌入在一幅图像的暗区域中的白色或灰色细节。
$$s=L-1-r$$
可得到灰度级范围为$[0，L-1]$的一幅图像的反转图像。
这种类型处理特别适用于增强嵌入图像暗色区域中的白色或灰色细节，特别是当黑色面积在尺寸上占主导低位时。

2. 对数变换

对数变换的通用形式为
$$s=clog(1+r)$$
式中c是常数，并假设$r\ge 0$，下图中对数曲线形状表面，对数变换将输入中范围较窄的低灰度值映射为输出中范围较宽的灰度值，或将输入中范围较宽的高灰度值映射为输出中范围较窄的灰度值。 我们使用这种类型的变换来扩展图像中的暗像素值。同时压缩更高灰度级的值

对数函数有一个重要特征，即它压缩像素值变化较大的图像的动态范围。

3.幂律（伽马）变换

幂律变换的基本形式为
$$s=c{r}^{\gamma }$$
对于不同的$\gamma$值，$s和r$的关系曲线如下图所示。与对数变换的情况类似， $\gamma$值的幂律曲线将较窄范围的暗色输入值映射为较宽范围的输出值，或将较宽范围的高灰度级输入值映射为较窄范围的输出值。

我们看到。$\gamma >1$的值所生成的曲线和$\gamma <1$的值所生成的曲线的效果完全相反，在$c=\gamma =1$时简化成了恒等变换。

用于校正幂律现象的处理称为伽马校正。 为什么要进行伽马校正？？

• 使用幂律变换对低灰度级的扩展：随着伽马值从0.6减小到0.4，更多的细节变得可见。
  

• 使用幂律变换对高灰度级的压缩：要处理的图像有“冲淡”的外观，表明需要进行灰度级压缩。
  

4.分段线性变换函数

利用分段线性函数对不同的灰度级范围采用不同的变换，其主要缺点是其技术说明要求用户输入。

• 对比度拉伸
  对比度拉伸即对图像灰度级动态范围进行处理，但分段变换在处理动态范围时，不同的灰度级范围采用了不同的变换函数。
  
  点$(r_1,s_1)和点(r_2,s_2)$的位置控制变换函数的形状，若$r_1=s_1且r_2=s_2$则变换为线性函数，产生没有变化的灰度级。
• 灰度级分层
  目的：突出图像中特定灰度范围的亮度，其应用包括增强某些特征。
  方法：
  ①二值法：将感兴趣的范围内的所有灰度值显示为一个值（譬如白色），而将其他灰度值显示为另一个值（譬如黑色）。

        ②分段变化突出灰度级：使感兴趣范围的灰度变亮（或变暗），而保持图像中其他的灰度级不变。

• 比特分层
  像素是由比特组成的数字，替代突出灰度级范围，我们可突出特定比特来突出整个图像的外观。
  
                                               每一层都是一幅二值图像（从比特平面1到8)
  
  上图显示了一幅8比特灰度图像，很明显4个高阶比特平面，特别是最后两个比特平面，包含了在视觉上大多数数据，低比特平面在图像中贡献了更精细的灰度细节。
  结论：存储4个高阶比特平面将允许我们以可接受的细节来重建原图像，储存这4个平面代替原始图像可减少50%的存储量。

三丶直方图处理

直方图：离散状态下图像灰度的概率密度分布
图像 到 直方图是不可逆变换，多对一的变换

直方图函数：
$$h(r_k)=n_k$$
$r_k$ 代表$k$级灰度级，$n_k$ 代表灰度为$r_k$的像素个数
归一化（归一化后的直方图函数变为概率估计）
$$p(r_k)=n_k/MN$$

1.直方图均衡

若一幅图像的像素倾向占据整个灰度范围并均匀分布，则视觉感官最好。即，该图像具有高对比度外观和较大色调变化范围。

直方图均衡是图像处理领域中利用图像直方图对对比度进行调整的方法

目标：PDF（概率密度函数）均匀分布
过程：直方图概率分布变换为均匀分布

通常，我们假设$r$的取值区间为[0，L-1]，且$r=0$表示黑色，$r=L-1$表示白色，在$r$满足这些情况下：
$$s=T(r),0\le r\le L-1$$
条件：
① 单调递增函数；
② 当 0<= r <=L-1 时要求 0<= s <=L-1；
Note：若用反函数$s=T^{-1}(r)$要保证T®为严格递增函数

为什么要满足以上条件?
条件①要求$T(r)$为单调递增函数是为了保证输出灰度值不少于效应的输入值，防止灰度反变换时产生人为缺陷；
条件②保证输出灰度图像的范围与输入灰度的范围相同；
条件Note保证从s到r的饭映射是一对一的，防止出现二义性。（如果不满足严格单调时，使用寻找最接近匹配整数的方法来解决非唯一反变换问题）

2.*变换公式

均衡化示例
下面是空间分辨率64*64，灰度分辨率为3bit的图像的直方图。对其进行均衡

直方图均衡变换函数的值使用上式得到，例如
$$s_0=T(r_0)=7\sum _{j=0}^0{p}_r(r_j)=7p_r(r_0)=7\ast 0.19=1.33$$
同理可得s1=3.08，s2=4.55，s3=5.67，s4=6.23，s5=6.65，s6=6.86，s7=7.00 。

下面分别是原始直方图、变换函数、均衡后的直方图。
可以看出该变换函数的形状为阶梯状，因为s是通过求概率值的和产生的，因此一直是分数，因此我们要把它们近似为最接近的整数。

s0=1.33 ->1    s1=3.08 -> 3   s2=4.55 -> 5   s3=5.67 -> 6
s4=6.23 -> 6   s5=6.65 -> 7   s6=6.86 -> 7   s7=7.00 -> 7

由于离散化和相关条件的限制均匀分布只是近似的

均衡后的图像灰度级会跨越更宽的灰度级范围，最终结果是增强了对比度。

3.直方图匹配（规定化）

由于图像质量的主观性，所以直方图均衡得到的图像可能并不是期望的，这就要用到直方图匹配。
直方图匹配：希望增强后的图像，其灰度级分布不是均匀的，而是具有规模形状的直方图，这样可突出感兴趣的灰度范围。

考虑直方图均衡公式，我们可以借助其来推导直方图匹配的变换函数
原始图像直方图均衡变换：
$$s=T(r)=(L-1){\int }_0^r{p}_r(w)\mathrm{d}w$$
规定直方图均衡变换：
$$G(z)=(L-1){\int }_0^z{p}_z(t)\mathrm{d}t$$
注意三个变量r,s,z之间的映射关系
$$G(z)=s\to z=G^{-1}[T(r)]=G^{-1}(s)$$

直方图匹配步骤：
1、根据上式，求图像的直方图均衡后的s的值
2、求给定直方图的变换函数$G(z)$
3、根据上面的结果求反函数$z=G^{-1}(s)$ ,即s到
z的映射
4、执行s到z的映射得到匹配给定直方图的图像

离散化的直方图匹配步骤：
1、利用离散化直方图均衡步骤对原始图像的直
方图进行处理得到$S_k$, 对$S_k$四舍五入求整
2、利用离散化直方图均衡步骤对给定的直
方图进行处理，把G的值四舍五入求整后存
入一张表中
3、根据上面的结果对$S_k$在存储G值的表中进行
查询得到s到z的映射，如果存在1对多的情况，
选取最小的一个进行映射
4、执行s到z的映射得到匹配给定直方图的图像

示例：
下面是空间分辨率64*64，灰度分辨率为3bit的图像的直方图。希望其变换后具有第二列给出的直方图分布

①对原始图像直方图进行均衡(参考上一例题结果)
   $s0=1s1=3s2=5s3=6$
   $s4=6s5=7s6=7s7=7$
②对给定直方图进行均衡
$G(z0)=0G(z1)=0G(z2)=0G(z3)=1$
$G(z4)=2G(z5)=5G(z6)=6G(z7)=7$
$eg:G(z7)=(8-1)\ast 0.15+7\ast 0.20+7\ast 0.30+7\ast 0.20+7\ast 0.15=7$
③查表进行映射

1.使S与G最接近；2.映射不唯一时选择最小值。

④利用得到映射对图像进行处理

4.局部直方图处理

什么是局部直方图处理？

1、$每个像素(x,y)，其邻域Sxy$
2、$计算邻域Sxy的直方图$
3、$得到直方图均衡化等$

为什么要进行局部直方图处理？

全局直方图处理适用于整个图像的增强，但存在增强图像中小区域的细节的需要，因此局部直方图是以图像中每个像素的邻域中的灰度分布为基础设计变换函数。

如何进行移动？

计算邻域窗中的局部直方图，进行均衡或规定处理，得到变换函数后用以更新中心像素，再然后再移动邻域窗至相邻像素。

如何改进？

有时用减少计算量的另一种方法是，使用非重叠区域，但这种方法通常会产生我们不希望的“棋盘”效应。
https://blog.csdn.net/opencv_857310866/article/details/79592855

5.在图像增强中使用直方图统计

原点矩
$随机变量\xi 的k次幂{\xi }^k的数学期望称为\xi 的k阶原点矩，记为v_k,$
$$即v_k=E({\xi }^k)$$
从而，对于离散随机变量，对于连续随机变量，特别地，$\xi$的一阶原点矩就是$\xi$的数学期望

中心矩
$随机变量\xi 的离差的k次幂(\xi -E\xi {)}^k的数学期望称为\xi 的k阶中心矩，记为{\mu }_k，$
$$即{\mu }_k=E(\xi -E\xi {)}^k$$
$\xi 的一阶中心矩恒为零，二阶中心矩就是\xi 的方差.即{\mu }_1=0，{\mu }_2=D\xi$

令$r$表示在区间$[0,L-1]$上代表灰度值的一个离散随机变量，并令$p(r_i)$表示对应于$r_i$的值的归一化直方图分量。$r$关于其均值的$n$阶矩定义为：
$$u(r)={\int }_0^{L-1}(r_i-m{)}^{n}p(r_i)$$
式中，m是r的均值（平均灰度，即图像中像素的平均灰度）
$$m={\int }_0^{L-1}{r}_{i}p(r_i)$$
其中二阶矩即灰度方差:
$$u_2(r)={\int }_0^{L-1}(r_i-m{)}^{2}p(r_i)$$

如何求局部取样均值和局部取样方差?

问题：增强暗的部分，对亮的部分尽量不动。
1、判断一个点是暗还是亮，把局部平均灰度$m_{s_{xy}}$与表示为$m_G$并称之为全局均值的平均图像灰度进行比较。
2、如果$m_{s_{xy}}\le k_0{m}_G$其中，$k_0$是一个值小于1.0的正参数，那么我们将把点$(x,y)$的像素考虑为处理的候选点。
3、参数的选择需要做实验
$$f(n)=\{\begin{array}{ll}E\cdot f(x,y)& \text{如果msxy≤k0mG且k1mG≤k2mG}\\ f(x,y),& \text{其他}\end{array}$$
常选：$E=4.0，k_0=0.4,k_1=0.02,k_2=0.4$

四丶空间滤波基础

1.空间滤波机理

空间滤波器由：
①一个邻域（通常是一个较小的矩形）
②对该邻域所包围的图像像素执行的预定义操作
如果在图像像素上执行的是线性操作，则称为线性空间滤波器，否则称之为非线性空间滤波器。

一般来说，使用大小为m×n的滤波器对大小为M×N的图像进行线性空间滤波，可由下式表示
$$g(x,y)=\sum _{s=-a}^a\sum _{t=-b}^{b}w(s,t)f(x+s,y+t)$$

2.空间相关与卷积

信号相关：
$$w(x,y)☆f(x,y)=\sum _{s=-a}^a\sum _{t=-b}^{b}w(s,t)f(x+s,y+t)$$
信号卷积：
$$w(x,y)★f(x,y)=\sum _{s=-a}^a\sum _{t=-b}^{b}w(s,t)f(x-s,y-t)$$
结论：
①二维离散空间卷积和相关可以通过模板操作实现
②二维离散空间卷积和相关操作可以利用旋转模板180得到相同的效果

五、平滑空间滤波器

什么是平滑滤波？利用模板求像素平均
平滑滤波的用途？模糊处理和降噪
带来问题？边缘模糊

1.线性空间滤波器

模板尺寸决定图像模糊程度，模板大小的选择由哪些即将融入背景中的物体尺寸决定。

加权模板（为什么要加权？加权频域解释）
一些像素的重要性（权重）要比另一些像素的重要性大。
处于该模板中心位置的像素所乘的值比其他任何像素所乘的值都要大，因此在均值计算中为该像素提供更大的重要性。

高斯模板的确定:平滑常采用高斯核。

为什么采用高斯函数作为加权函数？
1 二维高斯函数具有旋转对称性，保证滤波时各方向平滑程度相同(因为对称所以卷积和相关相同)；
2 离中心点越远权值越小。确保边缘细节不被模糊。

如何确定高斯模板？
要考虑高斯半径和模板大小

下面3 ×3g高斯模板是如何得到的？

高斯半径越小，曲面越高越尖越陡峭；高斯半径越大，曲面越低越平缓。因此高斯半径越小，则模糊越小，高斯半径越大，则模糊程度越大。

2.非线性滤波器

• 中值滤波
$$R=mid{z}_k|k=1,2,\dots ,9$$
• 最大值滤波
$$R=max{z}_k|k=1,2,\dots ,9$$
• 最小值滤波
$$R=min{z}_k|k=1,2,\dots ,9$$

六、锐化空间滤波器

什么是锐化滤波？突出灰度过渡部分
锐化处理的主要目的是突出图像中的细节或者增强被模糊的细节

标定处理,为什么要标定？
由于拉普拉斯图像中既有正值也有负值，且所有负值在显示时都修建为0，所以图像大部分是黑色的。标定拉普拉斯典型方法是将其最小值加上一个代替9的最小值，然后将其结果标定到整个灰度范围[0,L-1]内。

---

第四章 频域变换基础

一、 傅里叶级数和变换介绍

二、复数

定义：
$$C=R+jI$$$$C=|C|e^{j\theta }$$共轭：$$C^{\ast }=R-jI$$欧拉公式：$$e^{j\theta }=cos\theta +jsin\theta$$极坐标：$$C=|C|(cos\theta +jsin\theta )$$$$|C|=\sqrt{R^2+I^2}$$$$\Theta =arctg(I/R)$$复函数：$$F(u)=R(u)+jI(u)$$$$F^{\ast }(u)=R(u)-jI(u)$$

三、阶跃和冲激信号

1.单位阶跃信号

$$\epsilon (t)=\{\begin{array}{ll}0,& \text{if t<0}\\ 1,& \text{if t>0}\end{array}$$

2.延迟 时间的阶跃信号

$$\epsilon (t-t_0)=\{\begin{array}{ll}0,& \text{if t<t0}\\ 1,& \text{if t>t0}\end{array}$$

当给常规函数$x(t)$乘以$\epsilon (t)$后，$x(t)\epsilon (t)$截取了$t>0$时$x(t)$的 ，$x(t)\epsilon (t)$在$t<0$时为零，在$t＞0$时为$x(t)$。

零时刻起始的宽度为$\tau$的矩形脉冲$p_{\tau }(t)$
阶跃函数表示：

$$p_{\tau }(t)=\epsilon (t)-\epsilon (t-\tau )$$

给任一常规函数$x(t)$乘以$p_{\tau }(t)$可以截取脉冲范围内的$x(t)$

阶跃函数可把分段光滑函数用一个表达式表示
$$x(t)=\{\begin{array}{ll}{x}_1(t),& \text{t<0}\\ x_2(t),& \text{0<t<t1}\\ x_3(t),& \text{t>t1}\end{array}$$

任一函数$x(t)$与阶跃函数$\epsilon (t)$乘积的积分

单位阶跃函数的积分

3.冲激信号

$下图所示宽度为\tau 、高度为1/\tau 的脉冲\widehat{\delta (t)}，不论\tau 为何值，其面积总为1，当\tau \to 0时，hat\delta (t)具有\delta (t)的所有特征$

冲激函数与时间轴所围面积称为冲激函数强度，单位冲激函数的强度为1，而冲激函数$k\delta (t)$的强度为k。延迟$t_0$ 时刻的单位冲激函数为$\delta (t-t_0)$。

4.冲激函数性质

• 冲激函数的积分为阶跃函数
  $${\int }_{-\infty }^t\delta (\tau )d\tau =\{\begin{array}{ll}0,& \text{t<0}\\ 1,& \text{t>0}\end{array}$$

$${\int }_{-\infty }^t\delta (\tau )d\tau =\epsilon (t)$$

由微积分知识，上式的逆关系应该为

$$\delta (t)=\frac{d\epsilon (t)}{dt}$$

注意：从严格的常规函数微积分角度考虑，$\epsilon (t)$在t=0处不 存在导数。可看作是$\widehat{\epsilon (t)}$在 $\tau$→0时极限

$$\widehat{\delta (t)}=\frac{d\widehat{\epsilon (t)}}{dt}$$

• 冲激函数的抽样性质
  冲激函数具有抽取常规函数X(t) 在$t=t_0$处样本的作用

$${\int }_{-m}^{m}x(t)\delta (t-t_0)dt=x(t_0)$$

上式说明冲激函数与常规函数乘积的积分为冲激出现时刻该函数的值，称为冲激函数的抽样性质

$$x(t)\delta (t-t_0)=x(t_0)\delta (t-t_0)$$

• 尺度变换性质

$$\delta (at)=\frac{1}{|a|}\delta (t)$$

其中a为不等于0的实常数
（在一些文献中冲激函数 也常狄拉克(Dirac)函数）

单位离散冲激
$$\delta (x)=\{\begin{array}{ll}1,& \text{x=0}\\ 0,& \text{x=0}\end{array}$$
$${\int }_{-\infty }^{\infty }\delta (x)=1$$
单位离散冲激抽样
$${\int }_{-\infty }^{\infty }fx\delta (x-x_0)=f(x_0)$$
单位离散冲激串
$$S_{\Delta T}(t)={\int }_{-\infty }^{\infty }\delta (t-n\Delta T)$$

四、连续傅里叶变换

傅里叶级数是周期信号可展开成正交函数线性组合的无穷级数。
傅里叶级数是具有周期T的连续变量t的周期函数f(t)可描述为乘以适当系数的正选和余弦之和。

三角函数式的傅里叶级数：
$$cosn{\omega }_{1}t,sinn{\omega }_{1}t$$
复指数函数式的傅里叶级数：
$$e^{jn{\omega }_{1}t}$$

Fourier展开

基本函数族:
$$1,cos\frac{n\pi }{l}x,sin\frac{n\pi }{l}x$$

函数$f(x)$的Fourier展开式：
$$f(x)\approx a_0+\sum _{n=1}^{\infty }(a_{n}cos\frac{n\pi }{l}x+b_{n}sin\frac{n\pi }{l}x)$$
$a_0=\frac{1}{2l}{\int }_{-l}^{l}f(\xi )d\xi$
$a_n=\frac{1}{l}{\int }_{-l}^{l}f(\xi )cos\frac{n\pi }{l}\xi d\xi$
$b_n=\frac{1}{l}{\int }_{-l}^{l}f(\xi )sin\frac{n\pi }{l}\xi d\xi$

完备性算是一种封闭性，就像
1)代数中的元素： 群对乘法封闭，环对加法和乘法封闭；
2)线性空间中元素对加法和数乘运算封闭；
3)拓扑空间中元素对可数并和有限交运算封闭；
4)σ-代数中元素对可数并和补运算封闭；
那么完备性对什么运算封闭呢，当然是极限运算了，极限运算不会超出空间范围，当柯西列收敛才是完备的。一个赋范线性空间按范数收敛就是完备的赋范线性空间。
作者：anderson
链接：https://www.zhihu.com/question/307146804/answer/561306611
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

Dirichlet定理-Fourier展开收敛定理

若$f(x)$ 满足：
(1) 处处连续，或在每个周期内只有有限个第一类间断点；
(2) 在每个周期内只有有限个极值点，则
$$函数f(x)的Fourier展开=\{\begin{array}{ll}f(x),& \text{在连续点x}\\ \frac{1}{2}[f(x-0)+f(x+0)],& \text{在间断点x}\end{array}$$

正弦级数和余弦级数

若函数f(x) 是奇函数，则Fourier展开成正弦级数
若函数f(x) 是偶函数，则Fourier展开成余弦级数

复形式的Fourier级数

基本函数族
$$e^{i\frac{n\pi }{l}x}$$
函数$f(x)$的Fourier展开式
$$f(x)\approx \sum _{n=-\infty }^{\infty }{c}_n{e}^{i\frac{n\pi }{l}x}$$
$c_n=\frac{1}{l}{\int }_{-l}^{l}f(\xi )e^{-i\frac{n\pi }{l}\xi }d\xi$

复形式的Fourier积分定理
$$f(x)={\int }_{-\infty }^{\infty }F(\omega )e^{i\omega x}d\omega$$
其中
$$F(\omega )=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }f(\xi )e^{-i\omega \xi }d\xi$$

离散信号采样

模拟取样的一种方法是，用一个$\Delta T$单位间隔的冲击串作为取样函数去乘以$f(t)$
$$\widetilde{f(t)}=f(t)s_{\Delta T}(t)=\sum _{n=-\infty }^{\infty }f(t)\delta (t-n\Delta T)$$
式中$\widetilde{f(t)}$表示取样后的函数，$s_{\Delta T}(t)$是冲激串，这个和式的每个成分都是由该冲激位置处$f(x)$的值加权后的冲激。
$$s_{\Delta T}(t)=\sum _{-\infty }^{\infty }\delta (t-n\Delta T)$$

冲激的傅里叶变换

连续$f(t)$的傅里叶变换可写为
$$F(\mu )={\int }_{-\infty }^{\infty }f(t)e^{-j2\pi \mu t}dt$$
可得到位于原点的单位冲激的傅里叶变换
$$F(\mu )={\int }_{-\infty }^{\infty }\delta (t)e^{-j2\pi \mu t}dt={\int }_{-\infty }^{\infty }{e}^{-j2\pi \mu t}\delta (t)dt=e^{-j2\pi \mu 0}=1$$
式中第三步由下式的取样特性得出
一个冲激具有关于如下积分的所谓的取样特性：
$${\int }_{-\infty }^{\infty }f(t)\delta (t)dt=f(0)$$
位于空间域原点的一个冲激的傅里叶变换在频率域是一个常数，类似的位于$t=t_0$的一个冲激的傅里叶变换是
$$F(\mu )={\int }_{-\infty }^{\infty }\delta (t-t_0)e^{-j2\pi \mu t}dt={\int }_{-\infty }^{\infty }{e}^{-j2\pi \mu t}\delta (t-t_0)dt=e^{-j2\pi \mu t_0}=cos(2\pi \mu t_0)-jsin(2\pi \mu t_0)$$

冲激串的傅里叶变换

傅里叶展开
$$s_{\Delta T}(t)=\frac{1}{\Delta T}\sum _{n=-\infty }^{\infty }{e}^{j\frac{2\pi n}{\Delta T}t}$$
$$F(j\frac{2\pi n}{\Delta T}t)=\delta (\mu -\frac{n}{\Delta T})$$
$$S(\mu )=F(S_{\Delta T}(t))=\frac{1}{\Delta T}\sum _{n=-\infty }^{\infty }\delta (\mu -\frac{n}{\Delta T})$$

冲激串的傅里叶变换还是冲激串，周期为$\frac{1}{\Delta T}$，变换后的频域周期和空域周期成反比。

五丶连续函数的卷积

一维卷积
$$g(x)=f(x)\ast h(x)={\int }_{-\infty }^{\infty }f(\xi )h(x-\xi )d\xi$$
二维卷积
$$g(x,y)=\int {\int }_{-\infty }^{\infty }f(\xi ,\eta )h(x-\xi ,y-\eta )d\xi d\eta$$

我们将t所在的域称为空间域，而将$\mu$所在的域称为频率域。$f(x)★h(t)$和$H(\mu )F(\mu )$是傅里叶变换对。
$$f(t)★h(t)⟺H(\mu )F(\mu )$$
双箭头表示右边的表达式是通过对左边的表达式执行傅里叶变换得到的，左边的表达式是通过求右边的表达式的傅里叶反变换得到。
$$f(t)h(t)⟺H(\mu )★F(\mu )$$
说明频率域的卷积类似于空间域的乘积。

例：已知$x(t)=\epsilon (t)-\epsilon (t-1),h(t)=2[\epsilon (t)-\epsilon (t-2)]$,求$y(t)=x(t)\ast h(t)$

六、信号取样与恢复

1.取样公式：

用一个$\Delta T$单位间隔的冲激串作为取样函数乘以$f(t)$
$$\widetilde{f(x)}=f(x)s_{\Delta T}(t)=\sum _{-\infty }^{\infty }f(x)\delta (t-n\Delta T)$$
序列中的任意取样值$f_k$由下式给出
$$f_k={\int }_{-\infty }^{\infty }f(t)\delta (t-n\Delta T)=f(k\Delta T)$$

2.取样函数的傅里叶变换

由卷积定理可知，空间域两个函数乘积的傅里叶变换是两个函数在频率域的卷积。
取样后的函数的傅里叶变换$\tilde{F}(\mu )$:
$$\tilde{F}(\mu )=F(\mu )★S(\mu )$$
其中$S(\mu )$是冲击串的傅里叶变换
$$S(\mu )=\frac{1}{\Delta T}\sum _{n=-\infty }^{\infty }\delta (\mu -\frac{n}{\Delta T})$$
由卷积的定义：
$$f(t)★h(t)={\int }_{-\infty }^{\infty }f(\tau )h(t-\tau )$$
可直接得到$F(\mu )$和$S(\mu )$的卷积：
$$\tilde{F}(\mu )=F(\mu )★S(\mu )={\int }_{-\infty }^{\infty }F(\tau )S(\mu -\tau )d\tau =\frac{1}{\Delta T}\sum _{n=-\infty }^{\infty }F(\mu -\frac{n}{\Delta T})$$

从该式可得到何种结论？
取样函数的傅里叶变换是$F(\mu )$ 的一个拷贝的无限周期序列

3.采样定理

对于以原点为中心的有限区间（带宽）$[-{\mu }_{max},u_{max}]$之外的频率值，其傅里叶变换为零的函数$f(t)$称为带限函数。

采样定理带限函数如果以超过函数最高频率两倍的取样率来获取样本，连续带限函数可以从它的样本集中来恢复。

$$\frac{1}{\Delta T}>2{\mu }_{max}$$

意味着如果一个连续带限函数用取样率大于函数最高频率两倍的取样来表示，则不会有信息损失。

如果恰好以最高频率两倍取样会怎样？
完全等于最高频率的两倍的取样率，称为奈奎斯特取样率。
有时，奈奎斯特取样率对于完美函数的恢复是充分的，但是也存在导致问题的情况。

从原理上了解如何从$\tilde{F}(\mu )$复原$F(\mu )$

$$H(\mu )=\{\begin{array}{ll}\Delta T,& \text{−μmax≤μ≤umax}\\ 0,& \text{其他}\end{array}$$
通过$F(\mu )=H(\mu )\tilde{F}(\mu )$得到$F(\mu )$，一旦得到$F(\mu )$就可以利用傅里叶反变换来复原$f(t)$：
$$f(t)={\int }_{(}-\infty {)}^{\infty }F(\mu )e^{j2\pi \mu t}d\mu$$
函数$H(\mu )$称为低通滤波器，因为它通过频率范围低端的频率，但会消除所有较高的频率。它还被称为理想低通滤波器，因为在幅度上无限快速地过度，其特性物理电子元件不能实现。
因为滤波器是从函数的取样来恢复（重建）原始函数的手段，因此刚刚讨论的用于此目的的滤波器称为重建滤波器。

4.由取样重建函数

从上式可以得出什么结论？
完美重建的函数是用取样值加权的sinc函数的无限和，并且重建的函数恒等于在多个$\Delta T$的整数增量处的样本值。对于任何$t=k\Delta T$，其中k是整数，$f(t)$等于第k哥样本$f(k\Delta T)$

七丶离散傅里叶变换

1.直接对采样函数进行取样

$$\tilde{F}(\mu )={\int }_{-\infty }^{\infty }\tilde{f}(t)e^{-j2\pi \mu t}=\sum _{n=-\infty }^{\infty }{f}_n{e}^{-j2\pi \mu n\Delta T}$$
假设我们想要在周期$\mu =0$到$\mu =\frac{1}{\Delta T}$之间得到$\tilde{F}(\mu )$的M个等间距样本：
$$\mu =\frac{m}{M\Delta T},m=0,1,2,...,M-1$$
$$F_m=\sum _{n=0}^{M-1}{f}_n{e}^{\frac{-j2\pi mn}{m}},m=0,1,2,...,M-1$$
反变换：
$$f_n=\frac{1}{M}\sum _{n=0}^{M-1}{F}_m{e}^{\frac{j2\pi mn}{m}},m=0,1,2,...,M-1$$

2.周期性

域	连续性	周期性
时域	离散	周期
频域	离散	周期

时域的离散造成频域的延拓（周期性）。因而频域的离散也会造成时域的延拓（周期性）。

在离散情况下对于信号恢复能否用空域中的卷积替代频域中的乘积？
f(t)*h(t) 直接代替？
可以

3.取样和频率间隔的关系

如果$f(x)$以$\Delta T$为单位间隔取样后的M个样本组成，则：
$$T=M\Delta T$$
离散频率域中的相应间隔$\Delta \mu$:
$$\Delta \mu =T=M\Delta T=\frac{1}{T}$$
由DFT的M个成分跨越的整个频率范围是
$$\Omega =M\Delta u=\frac{1}{\Delta T}$$

八丶混淆

如果一个带限函数用低于其最高频率的两倍取样频率取样，将会发生欠取样的情况。
低于奈奎斯特取样的最终效果是周期重叠，且不管使用什么滤波器都不可能分隔出变换的单个周期。

混淆无法完全避免？为什么？
在实践中必须限制取样函数的时间，不可能对一个函数无限取样，一般会通过函数h(t)实现，空域上h(t)f(t)的乘积变换相当于H(x)F(x)的卷积，但是H(x)具有无限扩展的频率成分，因为有限持续时间的函数都是无限的，所以混淆是不可避免的。因为左右无限扩展，所以可以
通过函数减少高频成分来降低混淆的影响。

• 图像插值和重取样
  放大 -> 过采样
  缩小 -> 欠采样
  抗混淆： 平滑处理 超取样

• 摩尔波纹
  在两个近似等间隔的光栅之间产生的差拍模式。

九丶二维傅里叶变换

十丶傅里叶谱和相角

因为二维傅里叶变换通常是复函数，因此：
$$F(u,v)=|F(u,v)|\cdot e^{j\theta (u,v)}$$
式中，幅度：
$$|F(u,v)|=\sqrt{R^2(u,v)+F^2(u,v)}$$
称为傅里叶谱，而
$$\varphi (u,v)=arctan[\frac{I(u,v)}{R(u,v)}]$$
称为相角。
功率谱：
$$P(u,v)={|F(u,v)|}^2=R^2(u,v)+I^2(u,v)$$

谱 ：偶对称
相角：奇对称
为什么？
实函数的傅里叶变换是共轭对称的，这表明谱是关于原点偶对称的。

直流分量：F(0,0)处的值，即(f(x,y)的平均值的MN倍
$$F(0,0)=MN\overline{f}(x,y)$$

（1）幅度谱决定了一幅图像中含有的各种频率分量的多少
（2）相位谱决定了每一种频率分量在图像中的位置

只要每一种频率分量保持在图像中的正确位置，那么图像的完整性就能得到很好的保持，这也就是为什么在信号或图像处理中通常只对幅度谱进行处理的原因。

十一、卷积的缠绕问题

为什么会出现缠绕？
因为卷积两个周期函数，卷积本身也是周期的，周期的靠近使他们互相干扰而导致所谓的缠绕错误

要得到正确的结果，必须对函数进行填充。填充解决了缠绕现象，但是会出现频率泄露问题。
为什么？如何消除？
如果DFT采集时间窗口内的信号的周期du延拓与实际信号完全吻合，那么就不会出现泄漏现象。换句话说，对于周期信号，如果采集时间窗口内正好包含整数个信号周期，就能避免频谱泄漏。可利用这个特点来进行所谓的整周期采样。如果DFT采集时间窗口内的信号的周期延拓与实际信号不完全吻合，就会在周期延拓的边界上出现不连续点，就会出现泄漏现象。

消除：高斯函数

---

第五章 频域滤波

一丶频域滤波步骤

$$g(x,y)=F^{-1}(H(u,v)F(u,v))$$
对于图像f(x,y)可利用上式实现频域滤波，其中H(u,v)为滤波器。

1.图像填充

问题1：为什么要填充
傅里叶变换滤波时，为什么需要对输入数据进行零填充？
问题2：滤波器如何填充？是否可以不填充?
如果滤波的目的仅是粗糙的视觉分析，那么有时可以跳过填充步骤。
问题3：滤波是否影响相位。
零相移滤波器不影响相位，本章仅考虑此种

2.频域滤波和空域滤波对应

利用卷积定理可以实现空域和频域的对应，但有几个问题需要注意：
1、循环卷积问题 （为什么要用小模块在空间滤波？为什么高斯函数通常都是在空域进行小模板滤波？）
2、可利用频域滤波器，计算其IDFT，在空域计算模板系数

3.频域平滑滤波

考虑三类低通滤波器：

• 理想低通滤波器
• 布特沃斯低通滤波器
• 高斯低通滤波器

振铃现象为什么会产生？
sin函数的中心波瓣是引起模糊的主因，而外侧较小波瓣是造成振铃的主因

4.频域锐化滤波

两种方案：
1、利用H(u,v)反变换，然后在空域处理
2、直接在频域处理，把处理完的结果反变换到空域

---

第六章 图像复原

图像复原就是对退化的图像进行处理尽可能恢复被退化图像的本来面目
图像增强：主观
图像复原：客观

一、退化模型

$$g(x,y)=H[f(x,y)]+n(x,y)$$

连续函数退化模型

线性系统H的性能由其单位冲激响应来表征 h(x, y)
$$h(x,y)=H[\delta (x,y)]$$
线性系统H的响应 g(x, y)
$$H[f(x,y)]=f(x,y)\ast h(x,y)={\int }_{\infty }^{\infty }{\int }_{\infty }^{\infty }f(\alpha ,\beta )h(x-\alpha ,y-\beta )d\alpha d\beta$$
有噪声时的响应
$$g(x,y)=f(x,y)\ast h(x,y)+n(x,y)$$

结论：具有加性噪声的线性空间不变退化系统，可在空域建模为退化函数和与一幅图像的卷积，然后在加上噪声。在频率域，可以表示为图像和退化函数的变换的乘积，然后再加上噪声的变换

二、从噪声中复原

假设噪声独立于空间坐标，并且噪声与图像本身不相干。
频率特性：傅里叶域中噪声的频率内容（即相对于电磁波谱的频率）

1、噪声PDF

样本噪声图像:用以描述各种噪声PDF特性的测试图

• 高斯噪声
  概率密度函数（PDF)
  当z服从上式分布时，其值 有70落在$[(\mu -\sigma ),(\mu +\sigma )]$ ，有95%落在$[(\mu -2\sigma ),(\mu +2\sigma )]$范围内。
  
  高斯噪声的产生源于电子电路噪声和由低照明度或高温带来的传感器噪声。
  
• 瑞利噪声
  瑞利密度曲线距原点的位移和其密度图像的基本形状向右变形。瑞利密度对于近似偏移的直方图十分适用 .
  
• 伽马噪声
  伽马噪声在激光成像中有应用 .
  
• 指数分布噪声
  指数分布是b=1时爱尔兰概率分布的特殊情况 。
  指数分布噪声在激光成像中有些应用 。
  
• 均匀分布噪声
  均匀分布噪声在实践中描述较少，但均匀密度分布,作为模拟随机数产生器的基础非常有用 。
  
• 脉冲噪声(椒盐噪声)
  双极脉冲噪声也叫椒盐噪声，在图像上表现为孤立的亮点或暗点 。
  脉冲噪声表现在成像中的短暂停留中，例如，错误的开关操作。
  由于脉冲干扰通常与图像信号的强度相比较大，因此，脉冲噪声总是被数字化为最大值或最小值。
  

2、周期噪声

在图像获取中从电力或机电干扰中产生。惟一一种空间依赖型噪声。
周期噪声可以通过频率域滤波显著减少。

• 冲击频谱和空间正弦噪声模式

3、噪声参数的估计

• 典型的周期噪声参数是通过检测图像的 傅里叶谱来进行估计的。
  周期噪声趋向于产生频率尖峰，这些尖峰甚至通过视觉分析也经常可以检侧到。
  另一种方法是尽可能直接从图像中推断噪声分量的周期性，但这仅仅在非常简单的情况下才是可能的。
• 当噪声尖峰格外显著或可以使用关于干扰的频率分量一般位置的某些知识时，自动分析是可能的。

4、只存在噪声的复原

当一幅图像中惟一存在退化是噪声时，前面式子
$$g(x,y)=h(x,y)\ast f(x,y)+\eta (x,y)$$$$G((u,v)=H(u,v)F(u,v)+N(u,v)$$变成 $$g(x,y)=f(x,y)+\eta (x,y)$$$$G((u,v)=F(u,v)+N(u,v)$$当仅有加性噪声存在时，可以选择空间滤波方法。事实上，在这一特殊情况下，图像的增强和复原几乎是不可区别的

几何均值和算术均值滤波对比？
对噪声衰减都有作用，但几何均值滤波比算术均值滤波减少了对图像的模糊
谐波均值滤波器？
谐波均值滤波器对于盐噪声效果较好，但是不适于胡椒噪声，它善于处理高斯噪声。
逆谐波均值滤波器？
正阶滤波器在使暗区模糊的损失下，使背景较为清晰，负阶相反。

5、频率滤波削减周期噪声

• 带阻滤波器
• 带通滤波器
• 陷波滤波器
• 最佳陷波滤波器

三、估计退化函数

• 主要方法
  图像观察估计法
  试验估计法
  模型估计法
• 使用以某种方式估计的退化函数复原一幅图 像的过程有时称为盲目去卷积，因为真正的 退化函数很少能完全知晓。

1.图像观测估计法

对一幅退化图像，没有退化函数H的知识，可以通过收集图像自身的信息来估计该函数。用$g_s(x,y)$定义观察的子图像
$f_s(x,y)$ 表示构建的子图像
$$H_s(u,v)=\frac{G_s(u,v)}{F_s(u,v)}$$
从这一函数特性，并假设位置不变，可以推出完全函数$H(u,v)$。

2.试验估计法

使用与获取退化图像的设备相似的装置,得到准确的退化估计。实验估计模型如下：
小亮点 —> 成像系统H —> $g(x,y)$
由于冲激的傅立叶变换为常数A,可得:
$$H(u,v)=\frac{G_{(}u,v)}{A}$$

3.模型估计法

• 建立退化模型,模型要把引起退化的环境因素
• 考虑在内运用先验知识：
  – 大气湍流
  – 光学系统散焦
  – 照相机与景物相对运动
• 根据导致模糊的物理过程（先验知识）来确定h(x,y)或H(u,v)。

四、逆滤波

研究复原由退化函数H退化的图像最简单的方法是直接逆滤波：
$$\hat{F}(u,v)=\frac{G(u,v)}{H(u,v)}$$
$$\hat{F}(u,v)=F(u,v)+\frac{N(u,v)}{H(u,v)}$$
$N(u,v)$随机函数，$H(u,v)$当退化为零或很小时，$\frac{N(u,v)}{H(u,v)}$会变得很大，避免为零值, 限制滤波
频率使其接近原点值。
上式说明即使知道退化函数，也不能准确地复原未退化的图像。因为噪声是一个随机函数，其傅氏变换未知。
如何解决上述问题？
思路：截止频率
实验证明，当退化图像的噪声较小，即轻度降质时，采用逆滤波复原的方法可以获得较好的结果。通常，在离频率平面原点较远的地方数值较小或为零，因此图象复原在原点周围的有限区域内进行，即将退化图象的傅立叶谱限制在没出现零点而且数值又不是太小的有限范围内。

五、最小均方误差滤波(维纳滤波)

• 最小均方误差滤波是综合退化函数和噪声统计特征两方面进行复原处理的方法
• 目标是找一个未污染图像f的估计值，使它们之间的均方误差最小。误差度量由下式给出：
  KaTeX parse error: Expected 'EOF', got '}' at position 18: …2=E(f-\hat f)^2}̲

空域的信噪比？

维纳滤波器的复原过程
– (1)计算图像$g(x,y)$的二维离散傅立叶变换得到$G(u,v)$。
– (2)计算点扩散函数$h_w(x,y)$的二维离散傅立叶变换
– (3)估算图像的功率谱密度$P_n$和噪声的谱密度$P_f$ 。
– (4)由公式计算图像的估计值 。
– (5)计算逆付氏变换，得到恢复后的图像。

当处理白噪声时，谱$|N(u,v){|}^2$是一个常数，大大简化了处理过程。然而，未退化图像的功率谱很少是已知。

逆滤波与维纳滤波的比较
– (1)当$H(u,v)$→0或幅值很小时，分母不为零，不会造成严重的运算误差。
– (2)当$P_n$→ 0时，维纳滤波复原方法就是前述的逆虑波复原方法。
– (3)当$P_f$→ 0时，这表示图像无有用信息存在，因而不能从完全是噪音的信号中来“复原”有用信息。
– 对于噪声功率谱$P_n(u,v)$，可在图像上找一块恒定灰度的区域，然后测定区域灰度图像的功率谱作为$P_n(u,v)$。

六、约束最小二乘方滤波器

• 噪声方差和均值经常能从一个给定的退化图像计算出来，这是一个很重要的优点。
• 维纳滤波的关键问题是要知道噪声谱和功率谱，但这往往是困难的

约束最小二乘方意义下的最佳复原在视觉效果上并不意味着最好。根据退化和噪声的性质及大小，算法中交互地确定最佳估计的其他参数，在最终结果中也起到很重要的作用。

通常，自动确定复原滤波器相比人为调整滤波器参数的复原结果要差。特别是约束最小二乘方滤波器完全由单一的标量参数来决定时更是如此。

可以仅仅用噪声均值和方差的知识执行最佳复原算法

(a)用正确的噪声参数迭代地确定约束最小二乘方
(b)用错误的噪声参数得到的结果

七、几何均值滤波

---

第七章 彩色图像处理

• 运用颜色受两个因素的推动：
  1、颜色是强有力的描绘子。
  2、人类可以辨别几千种颜色色调和亮度，这一点对人工图像分析非常重要。
• 彩色图像处理分为两个领域：
  1、伪彩色图像处理
  2、真彩色图像处理

一、彩色基础

彩色光源的基本量：辐射率、光强、亮度。
区别颜色的特性是亮度、色调和色饱和度。
亮度是色彩明亮的概念，
色调是光波混合中与主波长有关的属性，表示观察者接受的主要颜色，
饱和度与所加白光数量成反比。

色度图

等能量点的饱和度为0，边界任何点都是全饱和越靠近等能量点饱和越低（x-R, y-G）

观察上图可得到什么结论？
三个单一原色无法获得所有颜色

二、彩色模型

• RGB彩色模型
  针对彩色监示器和视频摄像机。
• CMY和CMYK模型
  针对彩色打印机。
• HSI彩色模型
  更符合人描述和解释颜色的方式

什么是原色、 二次色、 混合色
注意区分光原色和颜料原色

RGB彩色模型

RGB加色系统

RGB颜色范围

CMY和CMYK模型

青（C）、深红（M）和黄色（Y）是颜料的颜色。在纸上沉积颜料的设备，要求输入CMY数据或在内部做RGB到CMY的转换。在三原色基础上再加上黑色，产生CMYK。
$$\left[\begin{array}{c}C\\ M\\ Y\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]-\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$$

HSI彩色模型

RGB、CMY不能很好地适应人解释的颜色。HSI（色调、饱和度和强度）可在彩色图像中携带的彩色信息里消去强度分量的影响。

三、伪彩色处理

伪彩色处理是根据特定的准则对灰度值赋以彩色的处理，主要应用是为了人目视观察和解释一幅图像或序列图像中的灰度目标。

• 强度分层
  

• 灰度级到彩色转换
  
  对任何输入像素的灰度执行3个独立的变换。然后合成
  
  不同传感器单色图像合成彩色图像可以让人感知到不可见光谱成为可能

四、全彩色图像处理基础

全彩色图像处理研究分为两大类：

• 分别处理每一分量图像。
• 直接对彩色像素处理。

五、彩色变换

• 变换公式
  $g(x,y)=T[f(x,y)]$
  $g(x,y)=kf(x,y)$

• 补色
  与一种色调直接对立的另一种色调称为补色。补色对于增强嵌在彩色图像暗区的细节很有用
  

• 彩色分层
  突出图像中特殊的彩色区域对其周围分离出目标物是非常有用的。基本思路如下：
  1、显示感兴趣的颜色以便从背景中将其分离。
  2、像模板那样使用由彩色定义的区域，以便进一步处理。

六、 平滑和尖锐化

• 彩色图像平滑
• 彩色图像锐化

---

第八章丶图像压缩

一、基础知识

包含不相关或重复信息的表示称为冗余数据
数据冗余： R=1-1/C
压缩比： C=b/b’
b和b’代表相同信息的两种表示中的比特数

一般来说，图像数据中存在以下几种冗余：
1、编码冗余：
2、空间和时间冗余：
3、不相关信息
当一个或多个冗余被减少或者消除时，就实现了压缩。

1.编码冗余

假设用区间[0，L-1]内的一个离散随机变量$r_k$来表示一幅M×N的图像灰度，且每个$r_k$出现的概率为$p_r(r_k)$：
$$p_r(r_k)=\frac{n_k}{MN},k=0,1,2,...,L-1$$
式中，L是灰度级数，$n_k$是第k级灰度在图像中出现的次数，如果用于表示每个$r_k$值的比特数为$l(r_k)$，则表示每个像素所需要的平均比特数为：
$$L_{a}vg=\sum _{k=0}^{L-1}l(r_k)p_r(r_k)$$

example

$L_{avg}=0.25(2)+0.47(1)+0.25(3)+0.03(3)=1.81bit$

2.空间冗余和时间冗余

• 灰度等概率
• 每条线的灰度选择是随机的各条线上的像素之间是独立的
• 每条线上的灰度值相同，因此在水平线上是最大相关的

行程长度或相邻像素之间的差可供利用，这种类型称为映射，如果原始二维灰度阵列的像素可以根据变换后的数据集合无误的重建，则称之为可逆映射。

如何对空间和时间冗余图像进行编码？
行程长度编码、相邻像素之差

3.不相关信息

去除特定的信息会造成定量信息损失，这称为量化。量化意味着将较宽范围的输入映射为有限数量的输出，因为信息损失了，所以量化是一种不可逆的操作。

无损压缩编码：（也叫信息保持压缩编码）
无损压缩编码方法是基于图像信息的统计特性，其表现特点是图像信息在一行的相邻象素间、或相邻行列之间、相邻帧之间具有较强的相关性，去掉这些相关性，即可去掉图像信息中许多冗余信息，而保持那些有用信息。
有损压缩编码： （信息非保持编码）
经采用某种方法对图像数据压缩虽然会造成一定程的失真，但在重建时，这种失真人眼难以察觉，能被人眼视觉所忽略，或从主观感觉上觉察不出它与原图像之间的差别。这种压缩编码属于信息非保持编码，与信息保持编码相比具有更高的压缩效率。

二丶信息量和信息熵

信息是指对消息接收者来说预先不知道的报导，从概率统计的角度来看，由信息源发出一系列消息{$a_k$}，出现概率$p(a_k),k=0,1,2,...,K-1$。
其中K为消息源的总数量，假定接收者接收到符号为$a_k$的概率为$p(a_k)$，则信息量定义为：
$$I=-log[p(a_k)]$$
从一个可能事件的离散集合{$a_1,a_2,...,a_J$}，给定一个统计独立随机事件的信源，与该集合相联系的概率为{$P(a_1),P(a_2),...,P(a_J)$}，则每个信源输出平均信息称为该信源的熵，即
$$H=-\sum _{j=1}^{J}P(a_j)logP(a_j)$$
其中$a_j$称为信源符号，因为是独立统计的，所以信源本身称为零记忆信源。
把一幅图像考虑为一个虚构零记忆“灰度信源”的输出时，灰度信源的熵变为：
$$H=-\sum _{k=0}^{L-1}{p}_r(r_k)log{p}_r(r_k)$$

相对熵和剩余度：一个信息源实际输出的熵与该信息源的最大可能熵之比称为相对熵h，信源的剩余度定义为r=1-h。

example
设 X={a,b,c,d}，p(a)=1/2,p(b)=1/4,p©=1/8,p(d)=1/8
则各信源符号信息量：
$I(a)=-lo{g}_2^{\frac{1}{2}}=1$
同理，$I(b)=2,I(c)=I(d)=3$
信源熵：H(X)=1/2 * 1 + 1/4 * 2 + 1/8*3 + 1/8 *3 = 1.75

可得到几点结论：

• 信源的平均码长lavg>=H(X)；也就是说熵是无失真编码的下界。
• 对非等概率分布的信源，采用不等长编码其平均码长小于等长编码的平均码长。
• 如果信源中各符号的出现概率相等，信源熵值达到最大

问题：是否存在一种编码方法使其LAVG达到熵

三丶保真度准则

客观评价准则
常用的准则有均方误差、均方根误差、均方信噪比、基本信噪比和峰值信噪比

四丶图像压缩模型

五丶常见图像压缩方法

1.Huffman编码

例题：一幅20×20的图像共有5个灰度级：s1,s2,s3,s4,和 s5，它们的概率依次为0.4,0.175,0.15,0.15和 0.125

编码后均码长：$$L=\sum _{i=1}^{5}p(s_i)l_i=0.4\ast 1+0.175\ast 3+0.15\ast 3+0.15\ast 3+0.125\ast 3=2.2$$图像熵：$$H(X)=-\sum _{i=1}^{5}p(s_i)logp(s_i)=2.1649$$

2.LWZ编码

3.块变换编码

变换处理的目的是对每幅子图像中的像素进行去相关操作，或用最少数量的变换系数包含尽可能多的信息。
量化：以一种预定义的方式有选择性的消除或更粗略地量化那些携带最少信息的系数。
变换的比较？
信息携带能力：Karhunen-Loeve(KLT) > DCT > DFT / WHT
原因是对于任何输入图像和任何数量的保留系数，KLT都可以使均方误差最小，但是KLT依赖数据，所以计算任务繁重，很少被用来压缩图像。
DCT携带信息量大，计算复杂度适中，相比DFT不会出现吉布斯现象。

---

第九章 形态学图像处理

一丶基础知识

结构元：一般假定原点位于对称中心，考虑空域滤波模板的形状

二丶二值形态学基本运算

1.膨胀：使图像扩大

B的反射进行平移与A的交集不能为空，B的反射为B相对于自身的映射。

结构元素形状对膨胀运算结果的影响当目标图像不变，但所给的结构元素的形状改变时；或结构元素的形状不变，而其原点位置改变时，膨胀运算的结果会发生改变。

膨胀运算会增长或粗化二值图像中的物体，并能连接缝隙和填充小孔

2.腐蚀：使图像缩小

B移动后完全包含在A中时，B的原点位置的集合

腐蚀运算与膨胀运算的对偶性

• 对目标图像的膨胀运算，相当于对图像背景的腐蚀运算操作；
• 对目标图像的腐蚀运算，相当于对图像背景的膨胀运算操作

3.开操作

B对A进行的开操作就是先用B对A腐蚀，然后用B对结果进行膨胀。

开操作一般会平滑物体的轮廓，断开较窄的狭颈并消除细的突出物。

4.闭操作

B对A进行的闭操作就是先用B对A膨胀，然后用B对结果进行腐蚀。

闭操作也会平滑轮毂的一部分，但与开操作相反，它通常会拟合较窄的沟壑，消除小的孔洞，填补轮廓中的断裂。

开运算具有磨光图像外边界的作用，而闭运算具有魔光物体内边界的作用

5.击中/击不中

三丶形态学的主要应用

1.边界提取

设集合A的边界表示为 β(A)，选取结构元素B，先进行B对A腐蚀，而后用A减去腐蚀的结果。

2.孔洞填充

3.连通分量提取

第十章丶图像分割

图像分割定义：
令R表示一幅图像占据的整个空间区域。我们可以讲图像分割视为把R分为n个子区域R1,R2,…Rn的过程。

1.点线和边缘检测

寻找点、线和边界最一般的方法是模板检测。计算模板所包围区域的灰度级与模板系数的乘积之和。

2. 点检测

• 孤立点：该点的灰度级与其背景的差异相当大，并且它所在的位置是一个均匀的或者近似均匀的区域。
• 基本思想：如果一个孤立点与它周围的点很不相同，则很容易被上述模板检测到。在灰度级为常数的区域，模板响应R为0。

2 .线检测

• 第一个模板对水平方向的线条（单象素宽）有更强的响应。
• 第二个模板对于45度方向线有最佳响应。
• 第三个模板对垂直线有最佳响应。
• 第四个模板对于-45度线有最佳响应。
• 每个模板系数相加总和为0，保证了在灰度级恒定的区域，模板响应为0。

4.边缘模型

一般常用一阶和二阶导数来检测边缘。

• 一阶导数可用于检测图像中的一个点是否在边缘上。
• 二阶导数可以判断一个边缘像素是在边缘亮的一边还是暗的一边。
• 一条连接二阶导数正值和负值的虚构直线将在边缘中点附近穿过零点。
• 一阶导数使用梯度算子，二阶导数使用拉普拉斯算子。

在边缘提取时，先进行平滑的好处？
精细的细节在边缘检测中通常不符合需要，因为往往表现为噪声，导数计算会增强这种噪声，从而使图像中主要边缘的检测变得复杂，对图像进行平滑处理可以减少精细细节。

5. Canny边缘检测器

Canny算法检测边缘主要步骤：
1）用高斯滤波器进行滤波，消除噪声；
2）针对每一个像素，计算横向与纵向两方向的微分近似，以得到像素的梯度大小和方向；
3）对梯度进行"非极大抑制"（非局部最大值置0）；
4）对梯度取两次阈值；
5）对边缘进行连接；

为什么要这样做，思想是什么？
1.降噪：梯度算子通过增强边缘轮廓实现增强图像，但是受噪声影响较大，降噪可以有效地消除伪边缘情况。
2.计算像素梯度：梯度和边缘都是灰度变化明显的地方，计算图像梯度可以得到所有可能是边缘的集合。
3.非极大值抑制：通常灰度变化的区域比较集中，保留局部范围内灰度变化最大的梯度方向，可以剔除多余点，“胖边缘“变成”瘦边缘“。
4.双阈值筛选：双阈值即低阈值和高阈值，灰度变化大于高阈值设置为强边缘像素，低于低阈值的则直接剔除，之间的像素设置为弱边缘再进一步判断其邻域内是否有强边缘像素，有则保留无则剔除。
参考博客：Canny边缘检测