主要内容包括图像的噪声模型、噪声消除
主要内容包括图像金字塔、对分辨率扩展、小波函数、小波变换。
小结放在前面:
介绍了多分辨率技术中的两个重要技术,图像金字塔和子带编码
基于上述二者引出基于哈尔小波变换的多分辨率分析技术
介绍了二维小波变换的基本原理
给出了小波变换在图像降噪、边缘检测和图像融合上的应用
连续小波变换:
连续平方可积函数 f ( x ) f(x) f(x)的
连 续 小 波 变 换 ( C W T ) : W ψ ( s , τ ) = ∫ − ∞ ∞ f ( x ) ψ s , τ ( x ) d x 其 中 ψ s , τ = 1 s ψ ( x − τ s ) 反 连 续 小 波 变 换 : f ( x ) = 1 C ψ ∫ 0 ∞ ∫ − ∞ ∞ W ψ ( s , τ ) ψ s , τ ( x ) s 2 d τ d s 其 中 C ψ = ∫ − ∞ ∞ ∣ Ψ ( u ) ∣ 2 ∣ u ∣ d u \begin{aligned}连续小波变换(CWT)&:W_{\psi}(s,\tau)=\int_{-\infty}^{\infty}f(x)\psi_{s,\tau}(x)dx&其中\psi_{s,\tau}=\frac{1}{\sqrt{s}}\psi(\frac{x-\tau}{s})\\反连续小波变换&:f(x)=\frac{1}{C_{\psi}}\int_{0}^{\infty}\int_{-\infty}^{\infty}W_{\psi}(s,\tau)\frac{\psi_{s,\tau}(x)}{s^2}d\tau ds&其中C_{\psi}=\int_{-\infty}^{\infty}\frac{|\Psi(u)|^2}{|u|}du \end{aligned} 连续小波变换(CWT)反连续小波变换:Wψ(s,τ)=∫−∞∞f(x)ψs,τ(x)dx:f(x)=Cψ1∫0∞∫−∞∞Wψ(s,τ)s2ψs,τ(x)dτds其中ψs,τ=s1ψ(sx−τ)其中Cψ=∫−∞∞∣u∣∣Ψ(u)∣2du
Ψ ( u ) \Psi(u) Ψ(u)是 ψ ( x ) \psi(x) ψ(x)的傅里叶变换
小波函数必须满足的条件:
1.小波必须是振荡的
2.小波的振幅只能在一个很短的一段区间上非零,即是局部化的
小波变换是多分辨率理论的分析基础,下面将从多分辨率分析的角度来解释小波变换
图像金字塔:
为什么要多分辨率处理?一幅自然图像及其直方图的局部变化,不同区域的细节程度不同。
图像金字塔是图像多尺度表达的一种,是一种以多分辨率来解释图像的有效但概念简单的结构。我们将一层一层的图像比喻成金字塔,层级越高,则图像越小,分辨率越低。
有两种类型的金字塔经常出现在文献和应用当中:
高斯金字塔(Gaussian pyramid): 用来向下采样(主要)
拉普拉斯金字塔(Laplacian pyramid): 用来从金字塔低层图像重建上层未采样图像,可以对图像进行最大程度的还原,配合高斯金字塔一起使用。
子带编码
子带编码也是多分辨率相关的重要图像技术
在子带编码中,一幅图像被分解为一组频带受限的分量,称为子带
百度百科:先通过一组带通滤波器将输入信号分成若干个在不同频段上的子带信号,然后将这些信号经过频率搬移转变成基带信号,再对它们分别取样。取样后的信号经过量化、编码,并合成一个总的码流传送给接收端。在接收端,首先把码流分成与原来的各子带信号相对应的子带码流,然后解码、将频谱搬至原来的位置,最后经带通滤波、相加得到重建的信号。
一维子带编码和解码的两频带滤波器 h 0 ( n ) , h 1 ( n ) , g 0 ( n ) , g 1 ( n ) h_{0}(n),h_{1}(n),g_{0}(n),g_{1}(n) h0(n),h1(n),g0(n),g1(n)
使得 f ˉ ( n ) = f ( n ) \bar{f}(n)=f(n) fˉ(n)=f(n)的 h 0 ( n ) , h 1 ( n ) , g 0 ( n ) , g 1 ( n ) h_{0}(n),h_{1}(n),g_{0}(n),g_{1}(n) h0(n),h1(n),g0(n),g1(n)称为完美重建滤波器
完美重建滤波器特征:
g 0 ( n ) = ( − 1 ) n h 1 ( n ) , g 1 ( n ) = ( − 1 ) n + 1 h 0 ( n ) 或 g 0 ( n ) = ( − 1 ) n + 1 h 1 ( n ) , g 1 ( n ) = ( − 1 ) n h 0 ( n ) \begin{aligned}g_{0}(n)=(-1)^{n}h_{1}(n)&,g_{1}(n)=(-1)^{n+1}h_{0}(n)\\或g_{0}(n)=(-1)^{n+1}h_{1}(n)&,g_{1}(n)=(-1)^{n}h_{0}(n)\end{aligned} g0(n)=(−1)nh1(n)或g0(n)=(−1)n+1h1(n),g1(n)=(−1)n+1h0(n),g1(n)=(−1)nh0(n)
且满足以下条件:
g 1 ( n ) = ( − 1 ) n g 0 ( K e v e n − 1 − n ) g i ( n ) = ( − 1 ) n g 0 ( K e v e n − 1 − n ) i = { 0 , 1 } g_{1}(n)=(-1)^{n}g_{0}(K_{even}-1-n)\\g_{i}(n)=(-1)^{n}g_{0}(K_{even}-1-n)\\i=\{0,1\} g1(n)=(−1)ng0(Keven−1−n)gi(n)=(−1)ng0(Keven−1−n)i={0,1}
在给定 h 0 ( n ) h_{0}(n) h0(n)后,其它三个滤波器均可以计算出来。
二维子带编码
用一维滤波器,先逐行再逐列的方式进行二维子带编码。
此时,二维子带编码滤波器是可分离的。
小波变换理论中基函数的命名约定:
哈尔变换
一维离散小波变换
如果待展开函数是一个数字序列,得到的系数就称为离散小波变换(DWT)
W φ ( j 0 , k ) = 1 M ∑ x f ( x ) φ j 0 , k ( x ) 近 似 系 数 W ψ ( j , k ) = 1 M ∑ x f ( x ) ψ j , k ( x ) 细 节 系 数 W_{\varphi}(j_{0},k)=\frac{1}{\sqrt{M}}\sum_{x}f(x)\varphi_{j_{0},k}(x)近似系数\\W_{\psi}(j,k)=\frac{1}{\sqrt{M}}\sum_{x}f(x)\psi_{j,k}(x)细节系数 Wφ(j0,k)=M1x∑f(x)φj0,k(x)近似系数Wψ(j,k)=M1x∑f(x)ψj,k(x)细节系数
对于 j ≥ j 0 j\geq j_{0} j≥j0
f ( x ) = 1 M ∑ k W φ ( j 0 , k ) φ j 0 , k ( x ) + 1 M ∑ j = j 0 ∞ ∑ k W ψ ( j , k ) ψ j , k ( x ) f(x)=\frac{1}{\sqrt{M}}\sum_{k}W_{\varphi}(j_{0},k)\varphi_{j_{0},k}(x)+\frac{1}{\sqrt{M}}\sum_{j=j_{0}}^{\infty}\sum_{k}W_{\psi}(j,k)\psi_{j,k}(x) f(x)=M1k∑Wφ(j0,k)φj0,k(x)+M1j=j0∑∞k∑Wψ(j,k)ψj,k(x)
注意:系列展开中的积分变成了求和,对于双正交函数要用
对偶函数代替
二维离散小波变换
二维乘积可分离的尺度函数
φ ( x , y ) = φ ( x ) φ ( y ) \varphi(x,y)=\varphi(x)\varphi(y) φ(x,y)=φ(x)φ(y)
二维可分离方向敏感小波
ψ H ( x , y ) = ψ ( x ) φ ( y ) 沿 列 方 向 变 化 ψ V ( x , y ) = φ ( x ) ψ ( y ) 沿 行 方 向 变 化 ψ D ( x , y ) = ψ ( x ) ψ ( y ) 沿 对 角 线 方 向 变 化 \begin{aligned}\psi^{H}(x,y)=\psi(x)\varphi(y)&沿列方向变化\\\psi^{V}(x,y)=\varphi(x)\psi(y)&沿行方向变化\\\psi^{D}(x,y)=\psi(x)\psi(y)&沿对角线方向变化\end{aligned} ψH(x,y)=ψ(x)φ(y)ψV(x,y)=φ(x)ψ(y)ψD(x,y)=ψ(x)ψ(y)沿列方向变化沿行方向变化沿对角线方向变化
定义尺度和平移基函数
φ j , m , n ( x , y ) = 2 j / 2 φ ( 2 j x − m , 2 j y − n ) ψ j , m , n i ( x , y ) = 2 j / 2 ψ i ( 2 j x − m , 2 j y − n ) i = H , V , D \varphi_{j,m,n}(x,y)=2^{j/2}\varphi(2^{j}x-m,2^{j}y-n)\\ \psi^{i}_{j,m,n}(x,y)=2^{j/2}\psi^{i}(2^{j}x-m,2^{j}y-n)\\ i={H,V,D} φj,m,n(x,y)=2j/2φ(2jx−m,2jy−n)ψj,m,ni(x,y)=2j/2ψi(2jx−m,2jy−n)i=H,V,D
M×N的函数f(x,y)的离散小波变换
W φ ( j 0 , m , n ) = 1 M N ∑ x = 0 M − 1 ∑ y = 0 N − 1 f ( x , y ) φ j 0 , m , n ( x , y ) W ψ i ( j 0 , m , n ) = 1 M N ∑ x = 0 M − 1 ∑ y = 0 N − 1 f ( x , y ) ψ j , m , n i ( x , y ) i = { H , V , D } \begin{array}{l} W_{\varphi}\left(j_{0}, m, n\right)=\frac{1}{\sqrt{M N}} \sum_{x=0}^{M-1} \sum_{y=0}^{N-1} f(x, y) \varphi_{j_{0}, m, n}(x, y) \\ W_{\psi}^{i}\left(j_{0}, m, n\right)=\frac{1}{\sqrt{M N}} \sum_{x=0}^{M-1} \sum_{y=0}^{N-1} f(x, y) \psi_{j, m, n}^{i}(x, y)\\ i=\{H, V, D\} \end{array} Wφ(j0,m,n)=MN1∑x=0M−1∑y=0N−1f(x,y)φj0,m,n(x,y)Wψi(j0,m,n)=MN1∑x=0M−1∑y=0N−1f(x,y)ψj,m,ni(x,y)i={H,V,D}
同一维DFT一样, W φ ( j 0 , m , n ) W_{\varphi}(j_{0},m,n) Wφ(j0,m,n)定义了尺度在 j 0 j_{0} j0的f(x,y)近似
系数 W ψ i ( j 0 , m , n ) W_{\psi}^{i}(j_{0},m,n) Wψi(j0,m,n)对于 j ≥ j 0 j\geq j_{0} j≥j0附加了水平、垂直\对角线方向的细节
离散反小波变换
f ( x , y ) = 1 M N ∑ m ∑ n W φ ( j 0 , m , n ) φ j 0 , m , n ( x , y ) + 1 M N ∑ i = H , D , V ∑ j = j 0 ∞ ∑ m ∑ n W ψ i ( j , m , n ) ψ j , m , n i ( x , y ) \begin{aligned} f(x, y)=& \frac{1}{\sqrt{M N}} \sum_{m} \sum_{n} W_{\varphi}\left(j_{0}, m, n\right) \varphi_{j_{0}, m, n}(x, y) \\ &+\frac{1}{\sqrt{M N}} \sum_{i=H, D, V} \sum_{j=j_{0}}^{\infty} \sum_{m} \sum_{n} W_{\psi}^{i}(j, m, n) \psi_{j, m, n}^{i}(x, y) \end{aligned} f(x,y)=MN1m∑n∑Wφ(j0,m,n)φj0,m,n(x,y)+MN1i=H,D,V∑j=j0∑∞m∑n∑Wψi(j,m,n)ψj,m,ni(x,y)
综合滤波器、重建
每一次迭代4个尺度j的近似和细节图像
用两个一维滤波器内插和卷积
小结:
本章基于线性系统的描述,介绍了图像复原技术。
图像的退化包括噪声和退化系统两种因素,各自的复原用到的方法不同。
- 当仅存在噪声时,用滤波;
- 当仅有退化系统时用逆滤波;
- 当两者都存在时,用维纳滤波。
图像退化/恢复模型
沿着质量降低的逆过程来重现真实的原始图像。
噪声及其描述:
模型:
空 域 : g ( x , y ) = h ( x , y ) ∗ f ( x , y ) + η ( x , y ) 频 域 : G ( u , v ) = H ( u , v ) × F ( u , v ) + N ( u , v ) \begin{aligned}空域:&g(x,y)=h(x,y)*f(x,y)+\eta(x,y)\\频域:&G(u,v)=H(u,v)×F(u,v)+N(u,v)\end{aligned} 空域:频域:g(x,y)=h(x,y)∗f(x,y)+η(x,y)G(u,v)=H(u,v)×F(u,v)+N(u,v)
图像退化包含了两种因素:
-图像噪声 η ( x , y ) \eta(x,y) η(x,y)
-退化系统 h ( x , y ) h(x,y) h(x,y)
先考虑只存在噪声时的图像复原,此时H=1(等同运算符)
算术均值滤波器
f ^ ( x , y ) = 1 m n ∑ ( s , t ) ∈ S x y g ( s , t ) \hat{f}(x, y)=\frac{1}{m n} \sum_{(s, t) \in S_{x y}} g(s, t) f^(x,y)=mn1(s,t)∈Sxy∑g(s,t)
几何均值滤波器
f ^ ( x , y ) = [ ∏ ( s , t ) ∈ S w y g ( s , t ) ] 1 m n \hat{f}(x, y)=\left[\prod_{(s, t) \in S_{\mathrm{wy}}} g(s, t)\right]^{\frac{1}{m n}} f^(x,y)=⎣⎡(s,t)∈Swy∏g(s,t)⎦⎤mn1
几何均值滤波比算数均值滤波保留更多的细节
谐波均值滤波器
f ^ ( x , y ) = 1 1 m n ∑ ( s , t ) ∈ S x y 1 g ( s , t ) = m n ∑ ( s , t ) ∈ S x y 1 g ( s , t ) \begin{aligned} \hat{f}(x, y) &=\frac{1}{\frac{1}{m n} \sum_{(s, t) \in S_{x y}} \frac{1}{g(s, t)}} =\frac{m n}{\sum_{(s, t) \in S_{x y}} \frac{1}{g(s, t)}} \end{aligned} f^(x,y)=mn1∑(s,t)∈Sxyg(s,t)11=∑(s,t)∈Sxyg(s,t)1mn
逆谐波均值滤波器
f ^ ( x , y ) = ∑ ( s , t ) ∈ S x y g ( s , t ) Q + 1 ∑ ( s , t ) ∈ S x y g ( s , t ) Q \hat{f}(x, y)=\frac{\sum_{(s, t) \in S_{x y}} g(s, t)^{Q+1}}{\sum_{(s, t) \in S_{x y}} g(s, t)^{Q}} f^(x,y)=∑(s,t)∈Sxyg(s,t)Q∑(s,t)∈Sxyg(s,t)Q+1
逆谐波均值滤波器中Q值必须小心选择
Q是滤波器的阶数:
当Q=0时,成为算术平均滤波器
当Q=-1时,成为谐波均值滤波器
当Q>0时,适用于“胡椒噪声”(又有黑的又有白的,用算术平均)
当Q<0时,适用于“盐噪声”(只有白的,用谐波均值)
中值滤波器
f ^ ( x , y ) = m e d i a n ( s , t ) ∈ S x y { g ( s , t ) } \hat{f}(x,y)={median}_{(s,t)\in S_{xy}}\{g(s,t)\} f^(x,y)=median(s,t)∈Sxy{g(s,t)}
最大值和最小值滤波器
f ^ ( x , y ) = m a x ( s , t ) ∈ S x y { g ( s , t ) } \hat{f}(x,y)={max}_{(s,t)\in S_{xy}}\{g(s,t)\} f^(x,y)=max(s,t)∈Sxy{g(s,t)}
f ^ ( x , y ) = m i n ( s , t ) ∈ S x y { g ( s , t ) } \hat{f}(x,y)={min}_{(s,t)\in S_{xy}}\{g(s,t)\} f^(x,y)=min(s,t)∈Sxy{g(s,t)}
中点滤波器
f ^ ( x , y ) = 1 2 [ m a x ( s , t ) ∈ S x y { g ( s , t ) } + m i n ( s , t ) ∈ S x y { g ( s , t ) } ] \hat{f}(x,y)=\frac{1}{2}[{max}_{(s,t)\in S_{xy}}\{g(s,t)\}+{min}_{(s,t)\in S_{xy}}\{g(s,t)\}] f^(x,y)=21[max(s,t)∈Sxy{g(s,t)}+min(s,t)∈Sxy{g(s,t)}]
修正后的阿尔法均值滤波器
f ^ ( x , y ) = 1 m n − d ∑ ( s , t ) ∈ S x y g r ( s , t ) \hat{f}(x,y)=\frac{1}{mn-d}\sum_{(s,t)\in S_{xy}}g_{r}(s,t) f^(x,y)=mn−d1(s,t)∈Sxy∑gr(s,t)
g r ( s , t ) g_{r}(s,t) gr(s,t):在邻域 S x y S_{xy} Sxy中去除的 d 2 \frac{d}{2} 2d个最高灰度和 d 2 \frac{d}{2} 2d个最低灰度后剩余像素;
当d=0时,成为算术均值滤波器;
当d=mn-1时,成为中值滤波器;
当d=else时,适用于多种噪声混合存在时的滤波
基于 m × n m×n m×n矩形窗口 S x y S_{xy} Sxy区域内图像的统计特性
自适应局部噪声消除滤波器
f ^ ( x , y ) = g ( x , y ) − σ η 2 σ L 2 [ g ( x , y ) − m L ] \hat{f}(x, y)=g(x, y)-\frac{\sigma_{\eta}^{2}}{\sigma_{L}^{2}}\left[g(x, y)-m_{\mathrm{L}}\right] f^(x,y)=g(x,y)−σL2ση2[g(x,y)−mL]
条件: σ η 2 ≤ σ L 2 \sigma_{\eta}^{2}\leq\sigma_{L}^{2} ση2≤σL2,否则取为1
高通
低通
带阻
陷波
讨论只存在退化函数H(退化系统)一种因素时的图像复原。线性、空间位置不变的图像退化。
图像退化过程在频域表示为
G ( u , v ) = H ( u , v ) × F ( u , v ) + N ( u , v ) G(u,v)=H(u,v)×F(u,v)+N(u,v) G(u,v)=H(u,v)×F(u,v)+N(u,v)
当不考虑噪声时,即 N ( u , v ) = 0 N(u,v)=0 N(u,v)=0,如果知道了退化系统的函数,就可以得到真实图像的傅里叶变换。
估计退化函数的三种方法
(1)观察法–图像观察法
(1)在退化的图像中找到某些简单的元素; g s ( x , y ) g_{s}(x,y) gs(x,y)
(2)理想形状是可以构造出来的,即构造出 f ^ s ( x , y ) \hat{f}_{s}(x,y) f^s(x,y)
(3)则,系统的退化函数为: H s ( u , v ) = G s ( u , v ) F ^ s ( u , v ) H_{s}(u,v)=\frac{G_{s}(u,v)}{\hat{F}_{s}(u,v)} Hs(u,v)=F^s(u,v)Gs(u,v)
(2)试验法–试验估计法
给系统输入一个点脉冲函数,则系统输出图像时脉冲响应函数h(x,y)
(3)数学建模法
例子运动模糊
逆滤波
如果没有噪声的作用,并已经用前面的退化函数估计或建模的方法知道了退化函数 H ( u , v ) H(u,v) H(u,v),那么
F ( u , v ) = G ( u , v ) H ( u , v ) F(u,v)=\frac{G(u,v)}{H(u,v)} F(u,v)=H(u,v)G(u,v)
噪声对逆滤波的影响
F ^ ( u , v ) = F ( u , v ) + N ( u , v ) H ( u , v ) \hat{F}(u,v)=F(u,v)+\frac{N(u,v)}{H(u,v)} F^(u,v)=F(u,v)+H(u,v)N(u,v)
复原图像可能完全由噪声来决定
寻找到一个真实图像的估计值,使它们之间的均方误差最小。
误差的度量
e 2 = E { ( f − f ^ ) 2 } e^{2}=E\{(f-\hat{f})^{2}\} e2=E{(f−f^)2}
维纳滤波器:
F ^ ( u , v ) = [ H ∗ ( u , v ) S f ( u , v ) S f ( u , v ) ∣ H ( u , v ) ∣ 2 + S η ( u , v ) ] G ( u , v ) = [ H ∗ ( u , v ) ∣ H ( u , v ) ∣ 2 + S η ( u , v ) S f ( u , v ) ] G ( u , v ) = [ 1 H ( u , v ) × ∣ H ( u , v ) ∣ 2 ∣ H ( u , v ) ∣ 2 + S η ( u , v ) S f ( u , v ) ] G ( u , v ) \begin{aligned} \hat{F}(u, v) &=\left[\frac{H^{*}(u, v) S_{f}(u, v)}{S_{f}(u, v)|H(u, v)|^{2}+S_{\eta}(u, v)}\right] G(u, v)=\left[\frac{H^{*}(u, v)}{|H(u, v)|^{2}+\frac{S_{\eta}(u, v)}{S_{f}(u, v)}}\right] G(u, v) \\ &=\left[\frac{1}{H(u, v)} \times \frac{|H(u, v)|^{2}}{|H(u, v)|^{2}+\frac{S_{\eta}(u, v)}{S_{f}(u, v)}}\right] G(u, v) \end{aligned} F^(u,v)=[Sf(u,v)∣H(u,v)∣2+Sη(u,v)H∗(u,v)Sf(u,v)]G(u,v)=⎣⎡∣H(u,v)∣2+Sf(u,v)Sη(u,v)H∗(u,v)⎦⎤G(u,v)=⎣⎡H(u,v)1×∣H(u,v)∣2+Sf(u,v)Sη(u,v)∣H(u,v)∣2⎦⎤G(u,v)
S f ( u , v ) = ∣ F ( u , v ) ∣ 2 S_{f}(u,v)=|F(u,v)|^{2} Sf(u,v)=∣F(u,v)∣2是未退化图像的功率谱
S η ( u , v ) = ∣ N ( u , v ) ∣ 2 S_{\eta}(u,v)=|N(u,v)|^{2} Sη(u,v)=∣N(u,v)∣2是噪声的功率谱
若无噪声,则维纳滤波退化为逆滤波
对维纳滤波公式进行近似,表示成:
F ^ ( u , v ) = = [ 1 H ( u , v ) × ∣ H ( u , v ) ∣ 2 ∣ H ( u , v ) ∣ 2 + K ] G ( u , v ) \hat{F}(u,v)==[\frac{1}{H(u, v)} \times \frac{|H(u, v)|^{2}}{|H(u, v)|^{2}+K} ]G(u, v) F^(u,v)==[H(u,v)1×∣H(u,v)∣2+K∣H(u,v)∣2]G(u,v)
结论:维纳滤波的效果要远优于直接逆滤波
- 在医学图像处理中,往往通过对某切面做多个X射线投影,来获得切面的结构图形,这就是图像重建。
- 投影重建的基本原理是雷登变换的正弦图进行反投影
通过在频率域使用斜坡滤波器可以有效解决空间域直接反投影的模糊问题- 对斜坡滤波器加汉明窗可以抑制振铃现象。
反向投影
CT原理
雷登(Randon)变换
直接反投影会导致图像边缘模糊
傅里叶切片定理