数字图像处理
第一章
什么是数字图像处理，用途 P1-3
一幅图像可以定义为二维函数f(x,y),x和y是空间坐标，幅值f称为图像的灰度。
当x，y，f都是有限的离散值，称为该图像为数字图像。
数字图像处理是借助于计算机来处理数字图像。
用途：医学图像处理、卫星图像处理、自动字符识别、军事保障
第二章
人眼的结构（锥状体，杆状体）P24
杆状体：单色夜视、暗视觉、单色信号敏感（灰度传感器）光通量范围106-100ML 整个视网膜
锥状体：彩色视觉、亮视觉、彩色信号敏感（彩色传感器） 光通量范围：103-104ML 黄斑区
亮度适应与辨别 P25
客观亮度：外界输入到人的视觉系统的光源强度（流明)
主观亮度：视觉系统感知的外界亮度, 主观亮度近似为客观亮度的对数
亮度适应现象: 视觉系统不可能同时感知如此大的范围，在特定亮度下形成特定的亮度响应曲线，感知一定亮度
范围的变化，换一个场景，则可以自动调整为与亮度环境相适应的亮度响应曲线，感知相应范围的亮度变化。
亮度适应水平：给定一组条件，视觉系统的当前灵敏度水平称为亮度适应水平
图像感知与获取 P30
由“照射”源和形成图像的“场景”元素对光能的反射或吸收产生的。
图像采样和量化 P34
采样：坐标值数字化
量化：幅值数字化
第三章
一些基本的灰度变换函数 P77-80
图像反转：s=L-1-r （r、s代表图像处理前后的像素值） 灰度级在区间[0,L-1] 作用：得到照片底片的结果。增强暗色区域中的白色或者灰色细节
对数变换：s=clog(1+r) 作用：将输入中范围较窄的低灰度值映射为输出中范围较宽的灰度级，拓展图像中的暗像素值，压缩高像素值。
幂律（伽马）变换：s=cr^r 作用：r<1提高灰度级，图像变亮,r>1降低灰度级，图像变暗,类似对数变换，通过r 可以将较窄范围的暗输入
值映射为较宽范围的输出值，将高输入值映射为较窄范围的输出值
直方图处理 、直方图均衡化、直方图匹配（很重要，计算，直接看书以及例子） P86-94
可分离滤波器核 P107
两 个 一 维 核 , 以 便 于 实 现 一 维 卷 积 , ω 1 = c = ν 和 ω 2 = r / E = ω T 两个一维核,以便于实现一维卷积,\omega 1=c=\nu和\omega 2=r/E=\omega ^{T} 两个一维核,以便于实现一维卷积,ω1=c=ν和ω2=r/E=ωT
对 于 圆 对 称 的 核 ω = ν ν T / c ， 其 一 维 分 量 为 w 1 = ν 和 w 2 = ν T / c 对于圆对称的核 \omega =\nu \nu ^{T} /c，其一维分量为w1=\nu和w2=\nu ^{T} /c 对于圆对称的核ω=ννT/c，其一维分量为w1=ν和w2=νT/c
平滑（低通）空间滤波器的概念和作用 P108-P114 例3.14（直接看书）
用于降低灰度的急剧过渡，降噪，减少混淆、无关细节， 平滑伪轮廓
线性空间滤波器是指图像与滤波器核进行卷积
核和图像大小对平滑性能的影响
给定大小的平滑核产生的相对模糊量直接取决于图像大小
相同核尺寸，不同图像大小，图像分辨率越高，则越清晰
相同图像分辨率，核尺寸越大，则细节越模糊
统计排序滤波器（非线性滤波器）P116
统计排序滤波器是非线性空间滤波器，由排序结果决定的值代替中心像素的值
对图像中的某点执行中值滤波，即是对邻域内像素值排序，确定中值，并将其赋予滤波后的图像中对应邻域中心的那个像素
锐化（高通）滤波器 P117（3.6.1基础）
锐化的作用是突出灰度中的过渡
数字函数的导数用差分来定义：恒定灰度区域导数为0，一阶导数和二阶导数在斜坡/台阶处非零
台阶或斜坡开始处一阶导数导数非0，开始处和结束处的二阶导数非0
∂ f ∂ x = f ( x + 1 ) − f ( x ) ∂ 2 f ∂ x 2 = f ( x + 1 ) − 2 f ( x ) + f ( x − 1 ) \begin{array}{l} \frac{\partial f}{\partial x}=f(x+1)-f(x) \\ \frac{\partial^{2} f}{\partial x^{2}}=f(x+1)-2 f(x)+f(x-1) \end{array} ∂x∂f=f(x+1)−f(x)∂x2∂2f=f(x+1)−2f(x)+f(x−1)
使用二阶导数锐化图像——拉普拉斯 P119
∇ 2 f = ∂ 2 f ∂ x 2 + ∂ 2 f ∂ y 2 ∂ 2 f ∂ x 2 = f ( x + 1 , y ) + f ( x − 1 , y ) − 2 f ( x , y ) ∂ 2 f ∂ y 2 = f ( x , y + 1 ) + f ( x , y − 1 ) − 2 f ( x , y ) ∇ 2 f = f ( x + 1 , y ) + f ( x − 1 , y ) + f ( x , y + 1 ) + f ( x , y − 1 ) − 4 f ( x , y ) \begin{array}{c} \nabla^{2} f=\frac{\partial^{2} f}{\partial x^{2}}+\frac{\partial^{2} f}{\partial y^{2}} \quad \frac{\partial^{2} f}{\partial x^{2}}=f(x+1, y)+f(x-1, y)-2 f(x, y) \\ \frac{\partial^{2} f}{\partial y^{2}}=f(x, y+1)+f(x, y-1)-2 f(x, y) \\ \nabla^{2} f=f(x+1, y)+f(x-1, y)+f(x, y+1)+f(x, y-1)-4 f(x, y) \end{array} ∇2f=∂x2∂2f+∂y2∂2f∂x2∂2f=f(x+1,y)+f(x−1,y)−2f(x,y)∂y2∂2f=f(x,y+1)+f(x,y−1)−2f(x,y)∇2f=f(x+1,y)+f(x−1,y)+f(x,y+1)+f(x,y−1)−4f(x,y)
将拉普拉斯图像与原图像相加，就可以恢复背景特征，同时保留拉普拉斯的锐化效果
g ( x , y ) = f ( x , y ) + c [ ∇ 2 f ( x , y ) ] g(x, y)=f(x, y)+c\left[\nabla^{2} f(x, y)\right] g(x,y)=f(x,y)+c[∇2f(x,y)]
c=1或-1，取决于拉普拉斯核。
作用：在灰度不连续的位置，添加拉普拉斯图像增强了对比度，可以看到结果是增强了小细节并且合理地保留了背景色调的一幅图像
钝化掩蔽和高提升滤波 P122
从原图像中减去一幅钝化（平滑后的）图像，以此进行图像的锐化，此被称为钝化掩蔽（高提升滤波）
从原图像减去模糊后的图像（产生的差称为模板）
将模板与原图像相加
g mask ( x , y ) = f ( x , y ) − f ˉ ( x , y ) g ( x , y ) = f ( x , y ) + k ⋅ g mask ( x , y ) \begin{array}{l} g_{\text {mask }}(x, y)=f(x, y)-\bar{f}(x, y) \\ g(x, y)=f(x, y)+k \cdot g_{\text {mask }}(x, y) \end{array} gmask (x,y)=f(x,y)−fˉ(x,y)g(x,y)=f(x,y)+k⋅gmask (x,y)
作用：钝化掩蔽强调了信号中斜率出现变化的点
使用一阶导数锐化图像——梯度 P123-125
一阶梯度是用梯度幅度实现的，图像在(x,y)处的梯度定义为二维列向量，指向f的最大变化率
∇ f ≡ grad ( f ) = [ g x g y ] = [ ∂ f / ∂ x ∂ f / ∂ y ] \nabla f \equiv \operatorname{grad}(\mathrm{f})=\left[\begin{array}{l} \mathrm{g}_{\mathrm{x}} \\ \mathrm{g}_{\mathrm{y}} \end{array}\right]=\left[\begin{array}{l} \partial \mathrm{f} / \partial \mathrm{x} \\ \partial \mathrm{f} / \partial \mathrm{y} \end{array}\right] ∇f≡grad(f)=[gxgy]=[∂f/∂x∂f/∂y]
梯度图像，幅值是变化率在(x,y)处的值，可表示为
M ( x , y ) = ∥ f ∥ = mag ( ∇ f ) = g x 2 + g y 2 ≈ ∣ g x ∣ + ∣ g y ∣ \begin{aligned} \mathrm{M}(\mathrm{x}, \mathrm{y})=\|\mathrm{f}\| &=\operatorname{mag}(\nabla f)=\sqrt{\mathrm{g}_{\mathrm{x}}^{2}+\mathrm{g}_{\mathrm{y}}^{2}} \\ & \approx\left|\mathrm{g}_{\mathrm{x}}\right|+\left|\mathrm{g}_{\mathrm{y}}\right| \end{aligned} M(x,y)=∥f∥=mag(∇f)=gx2+gy2≈∣gx∣+∣gy∣
离散化近似：罗伯特交叉梯度算子
g x = z 9 − z 5 g y = z 8 − z 6 M ( x , y ) = [ ( z 9 − z 5 ) 2 + ( z 8 − z 6 ) 2 ] 1 2 M ( x , y ) ≈ ∣ z 9 − z 5 ∣ + ∣ z 8 − z 6 ∣ \begin{array}{l} g_{x}=z_{9}-z_{5} \\ g_{y}=z_{8}-z_{6} \\ M(x, y)=\left[\left(z_{9}-z_{5}\right)^{2}+\left(z_{8}-z_{6}\right)^{2}\right]^{\frac{1}{2}} \\ M(x, y) \approx\left|z_{9}-z_{5}\right|+\left|z_{8}-z_{6}\right| \end{array} gx=z9−z5gy=z8−z6M(x,y)=[(z9−z5)2+(z8−z6)2]21M(x,y)≈∣z9−z5∣+∣z8−z6∣
Sobel算子
g x = ∂ f / ∂ x = ( z 7 + 2 z 8 + z 9 ) − ( z 1 + 2 z 2 + z 3 ) g y = ∂ f / ∂ y = ( z 3 + 2 z 6 + z 9 ) − ( z 1 + 2 z 4 + z 7 ) M ( x , y ) = [ ( g x ) 2 + ( g y ) 2 ] 1 2 \begin{array}{l} g_{x}=\partial f / \partial x=\left(z_{7}+2 z_{8}+z_{9}\right)-\left(z_{1}+2 z_{2}+z_{3}\right) \\ g_{y}=\partial f / \partial y=\left(z_{3}+2 z_{6}+z_{9}\right)-\left(z_{1}+2 z_{4}+z_{7}\right) \\ M(x, y)=\left[\left(g_{x}\right)^{2}+\left(g_{y}\right)^{2}\right]^{\frac{1}{2}} \end{array} gx=∂f/∂x=(z7+2z8+z9)−(z1+2z2+z3)gy=∂f/∂y=(z3+2z6+z9)−(z1+2z4+z7)M(x,y)=[(gx)2+(gy)2]21
作用：1.可以看到梯度图消除了恒定或缓慢变化的灰色阴影，因此能够简化自动检测所需的计算任务。
2.剃度还可以用来突出灰度级图像中很难看到的小尺寸图像。
3.在平坦的灰度场中增强小的不连续的能力是梯度的另一个重要特征
第四章
频率域滤波基础 P177-183(多看书)
频率域滤波的步骤
1 用 乘以（-1）^(x+y)输入图像进行中心变换
2 用1计算图像的DFT，即F(u,v)
3 用滤波器函数H(u,v)乘以F(u,v)
4 计算3中结果的反DFT
5 得到4中结果的实部
6 用 （-1）^(x+y)乘以5中的结果
H(u,v)称为滤波器（滤波器传递函数 ）
空间域和频率域滤波之间的关系 P184
f ( x , y ) ∗ h ( x , y ) ⇔ F ( u , v ) H ( u , v ) f ( x , y ) h ( x , y ) ⇔ 1 M N F ( u , v ) ∗ H ( u , v ) \begin{array}{l} \mathrm{f}(\mathrm{x}, \mathrm{y}) * \mathrm{~h}(\mathrm{x}, \mathrm{y}) \Leftrightarrow \mathrm{F}(\mathrm{u}, \mathrm{v}) \mathrm{H}(\mathrm{u}, \mathrm{v}) \\ \mathrm{f}(\mathrm{x}, \mathrm{y}) \mathrm{h}(\mathrm{x}, \mathrm{y}) \Leftrightarrow \frac{1}{\mathrm{MN}} \mathrm{F}(\mathrm{u}, \mathrm{v}) * \mathrm{H}(\mathrm{u}, \mathrm{v}) \end{array} f(x,y)∗ h(x,y)⇔F(u,v)H(u,v)f(x,y)h(x,y)⇔MN1F(u,v)∗H(u,v)
理想低通滤波器 P187 （看书，4.8与4.8.1的中间一段）
边缘和其他尖锐变化（如噪声）在图像的灰度级中主要处于傅里叶变换的高频部分。因此，平滑
（模糊）可以通过衰减指定图像傅里叶变换中高频成分的范围来实现
理想低通滤波器：截断高频部分
H ( u , v ) = { 1 D ( u , v ) ≤ D 0 0 D ( u , v ) > D 0 H(u, v)=\left\{\begin{array}{ll} 1 & D(u, v) \leq D_{0} \\ 0 & D(u, v)>D_{0} \end{array}\right. H(u,v)={10D(u,v)≤D0D(u,v)>D0
同态滤波 P202
f ( x , y ) = i ( x , y ) r ( x , y ) z ( x , y ) = ln f ( x , y ) = ln i ( x , y ) + ln r ( x , y ) [ z ( x , y ) ] = ℑ [ ln f ( x , y ) ] = ℑ [ ln i ( x , y ) ] + ℑ [ ln r ( x , y ) ] Z ( u , v ) = F i ( u , v ) + F r ( u , v ) \begin{aligned} f(x, y) &=i(x, y) r(x, y) \\ z(x, y)=& \ln f(x, y) \\ =& \ln i(x, y)+\ln r(x, y) \\ \hdashline[z(x, y)] &=\Im[\ln f(x, y)] \\ &=\Im[\ln i(x, y)]+\Im[\ln r(x, y)] \\ Z(u, v)=& F_{i}(u, v)+F_{r}(u, v) \end{aligned} f(x,y)z(x,y)==[z(x,y)]Z(u,v)==i(x,y)r(x,y)lnf(x,y)lni(x,y)+lnr(x,y)=ℑ[lnf(x,y)]=ℑ[lni(x,y)]+ℑ[lnr(x,y)]Fi(u,v)+Fr(u,v)
S ( u , v ) = H ( u , v ) Z ( u , v ) = H ( u , v ) F i ( u , v ) + H ( u , v ) F r ( u , v ) s ( x , y ) = ℑ − 1 [ S ( u , v ) ] = J − 1 [ H ( u , v ) F i ( u , v ) ] + ℑ − 1 [ H ( u , v ) F r ( u , v ) ] i ′ ( x , y ) = s − 1 [ H ( u , v ) F i ( u , v ) ] r ′ ( x , y ) = s − 1 [ H ( u , v ) F r ( u , v ) ] S ( x , y ) = i ′ ( x , y ) + r ′ ( x , y ) \begin{aligned} S(u, v) &=H(u, v) Z(u, v) \\ &=H(u, v) F_{i}(u, v)+H(u, v) F_{r}(u, v) \\ s(x, y)=& \Im^{-1}[S(u, v)] \\ =& \mathfrak{J}^{-1}\left[H(u, v) F_{i}(u, v)\right]+\mathfrak{\Im}^{-1}\left[H(u, v) F_{r}(u, v)\right] \\ i^{\prime}(x, y)=& \mathfrak{s}^{-1}\left[H(u, v) F_{i}(u, v)\right] \\ r^{\prime}(x, y)=& \mathfrak{s}^{-1}\left[H(u, v) F_{r}(u, v)\right] \\ S(x, y)=& i^{\prime}(x, y)+r^{\prime}(x, y) \end{aligned} S(u,v)s(x,y)==i′(x,y)=r′(x,y)=S(x,y)==H(u,v)Z(u,v)=H(u,v)Fi(u,v)+H(u,v)Fr(u,v)ℑ−1[S(u,v)]J−1[H(u,v)Fi(u,v)]+ℑ−1[H(u,v)Fr(u,v)]s−1[H(u,v)Fi(u,v)]s−1[H(u,v)Fr(u,v)]i′(x,y)+r′(x,y)
g ( x , y ) = e s ( x , y ) = e i ′ ( x , y ) e r ′ ( x , y ) = i 0 ( x , y ) r 0 ( x , y ) \begin{aligned} g(x, y) &=e^{s(x, y)} \\ &=e^{i^{\prime}(x, y)} e^{r^{\prime}(x, y)} \\ &=i_{0}(x, y) r_{0}(x, y) \end{aligned} g(x,y)=es(x,y)=ei′(x,y)er′(x,y)=i0(x,y)r0(x,y)
取对数->DFT->滤波->IDFT->指数变换
陷波滤波器 P206
陷波滤波器是最有用的选择性滤波器，其通过或阻止事先定义的频率矩形邻域中的频率。图像平均值为0
**作用：**用于识别由特定的、局部化频域成分引起的空间图像效果
使用陷波滤波器删除数字化印刷物图像中的莫尔模式
使用陷波滤波去除周期干扰
第五章
引言 P219 （仔细看）
图像复原（Restoration），从造成图像质量下降的客观原因出发，改善图像质量；试图恢复图像原来的面貌;
图像复原总是试图寻找引起图像质量下降的客观原因；
获得使图像质量下降的先验知识，建立退化模型是图像复原处理的前提与关键
图像恢复总是假定已知或可以通过估计得到引起图像降质的模型，而图像增强不需要知道图像降质模型
图像退化/复原的一个模型 P220
退化图像g(x,y)由退化函数H和加性噪声 共同对输入图像f(x,y)进行运算得到
g ( x , y ) = ( h ⋆ f ) ( x , y ) + η ( x , y ) G ( u , v ) = H ( u , v ) F ( u , v ) + N ( u , v ) \begin{array}{l} g(x, y)=(h \star f)(x, y)+\eta(x, y) \\ G(u, v)=H(u, v) F(u, v)+N(u, v) \end{array} g(x,y)=(h⋆f)(x,y)+η(x,y)G(u,v)=H(u,v)F(u,v)+N(u,v)
只存在噪声的复原——空间滤波 P227-P230
均值滤波器：
算术均值滤波器
平滑局部，降低噪声模糊图像
几何均值滤波器
平滑度与算术滤波器相当 图像细节丢失更少
谐波均值滤波器
善于处理盐粒噪声 不适用于胡椒噪声 善于处理高斯噪声
反谐波均值滤波器
Q 滤波器阶数 Q>0 消除椒盐噪声 Q<0 消除盐粒噪声 Q=0 算术平均滤波器 Q=1 谐波平均滤波器
统计排序滤波器：
中值滤波器
降低随机噪声，模糊度小
对椒盐噪声效果显著
最大值滤波器
对胡椒噪声效果极好
最小值滤波器
对盐粒噪声效果极好
中点滤波器
对高斯和均匀噪声效果极好
修正阿尔法滤波器
适合处理多种混合噪声 d=0 算术平均 d=(mn-1) 中值滤波
估计退化函数 P244
假设退化图像中噪声干扰为0，退化函数模型变为
g ( x , y ) = h ( x , y ) ∗ f ( x , y ) + η ( x , y ) ⇒ g ( x , y ) = h ( x , y ) ∗ f ( x , y ) G ( u , v ) = H ( u , v ) F ( u , v ) + N ( u , v ) ⇒ G ( u , v ) = H ( u , v ) F ( u , v ) \begin{array}{l} g(x, y)=h(x, y) * f(x, y)+\eta(x, y) \Rightarrow g(x, y)=h(x, y) * f(x, y) \\ G(u, v)=H(u, v) F(u, v)+N(u, v)\Rightarrow G(u, v)=H(u, v) F(u, v) \end{array} g(x,y)=h(x,y)∗f(x,y)+η(x,y)⇒g(x,y)=h(x,y)∗f(x,y)G(u,v)=H(u,v)F(u,v)+N(u,v)⇒G(u,v)=H(u,v)F(u,v)
估计图像复原中所用退化函数主要有三种：
观察法 实验法 数学建模法
最小均方误差（维纳）滤波 P249-250
寻求最佳复原图像，使得均方误差最小
e 2 = E { ( f − f ^ ) 2 } e^{2}=E\left\{(f-\hat{f})^{2}\right\} e2=E{(f−f^)2}
F ^ ( u , v ) = ∣ H ( u , v ) ∣ 2 ∣ H ( u , v ) ∣ 2 + K ⋅ G ( u , v ) H ( u , v ) \hat{F}(u, v)=\frac{|H(u, v)|^{2}}{|H(u, v)|^{2}+K} \cdot \frac{G(u, v)}{H(u, v)} F^(u,v)=∣H(u,v)∣2+K∣H(u,v)∣2⋅H(u,v)G(u,v)
通过在滤波过程中调节K值以得到准最佳结果
进一步假设噪声为0，k=0，维纳滤波器退化为逆滤波器
第六章
彩色基础 P279-P281(看PPT)
彩色光（400~700nm）的3个基本量：
辐射率：从光源流出能量的总量，用瓦特w度量
光强：观察者从光源感知的能量总和，流明lm
例如：从远红外光谱区域的光源发出的光具有很大的能量（辐射亮度），但观察者却很难感知它，其发光强度几乎为0
亮度：不可测量的主观描绘子，是描绘彩色感觉的一个重要因素
区分不同颜色特性通常是亮度、色调和饱和度
亮度：发光强度的消色概念
色调：混合光波中与主波长相关的属性，表示被观察者感知的主导色（我们谈论的物体的颜色，就是指物体的色调）
饱和度：相对的纯度，或与一种色调混合的白光量。（纯**光谱颜色是完全饱和的，深红色和淡紫色是不饱和的，饱和度与所加的白光量成反比）
色调和饱和度一起称为色度，因此一种颜色可用亮度和色度来表征
彩色空间（彩色模型或彩色系统）的目的是以某种标准的方式来方便地规定颜色
RGB，针对彩色显示器和彩色摄像机
**CMY（青色、深红色、黄色）和CMYK（**青色、深红色、黄色、黑色），针对彩色打印
HSI（色调、饱和度、亮度），针对人们描述和解释颜色的方式
YIQ
YUV
YCbCr
假彩色图像处理 P293
指按照规定的准则对灰度值赋予颜色的处理
**应用：**可视化和解释单幅图像或一序列图像中的灰度事件
彩色图像的直方图处理 P309（例6.11）
直方图均衡化自动确定一个变换，这个变换试图生成一幅具有均匀灰度值直方图的图像。
直方图均衡化对低主特性、高调和中调图像的处理非常成功
均匀地分布颜色亮度，而保持颜色本身（即色调）不变
彩色图像平滑和锐化 P310 (例6.12)
根据周围像素的特性来修改像素的值
彩色图像压缩上面一段 P321
在每幅图像的基础上对全彩色图像滤波，或直接在彩色向量空间中对全彩色图像滤波，如平均滤波器降噪
统计排序滤波则不行。
第九章
腐蚀和碰撞 P457-460 (理解，直接看书或PPT)
开运算与闭运算P461-462（直接看书或PPT）
开运算（Opening）
思路：先腐蚀，再膨胀
闭运算（Closing）
思路：先膨胀，再腐蚀
第十章
引言 P502(仔细看)
图像分割的任务是把图像分离成互不交叠的有意义的区域，以便于进一步的分析
多数分割算法均基于灰度值的两个基本性质：不连续性和相似性
不连续性以灰度突变为基础，比如图像边缘
相似性根据一组预定义的准则将一幅图像分割为相似的区域，比如阈值处理、区域生长、区域分裂和区域聚合
边缘模型 P511-P514（看书）
边缘检测是根据灰度突变来分割图像的一种基本方法
使用Otsu方法的最优全局阈值处理 P538-P541 (例10.14) 核心思想与步骤 （PPT.书）
该方法在最大化类间方差方面是最优的
基本思想：
经过正确阈值处理后的类别相对于它们的像素的灰度值而言是不同的，而根据灰度值给出类间最优分离的一个阈值会是最好（最优）的阈值
完全基于对图像的直方图进行计算