基于Retinex模型的弱光图像联合去噪与增强(序列分解)
一、文章摘要概述
文章的题目是：
《Joint Enhancement and Denoising Method via Sequential Decomposition》
这是一篇2018年北大-刘家瑛团队一篇会议文章。基于Retinex模型，同样是针对分解后照明图对比度、细节增强和反射图存在的密集噪声问题，在上一篇博客中介绍了一种全变差优化模型，通过ADM依次迭代更新照明图和反射图得到最优解即为增强图像，但是考虑到原始图像 I I I通过通道最大值得到的初始照明图 L L L基本上是光滑的，而密集噪声几乎都留在了反射图 R R R中，所以使用ADM轮流更新 L L L和 R R R时，会对照明图 L L L带来噪声并对细节信息造成破坏。基于此，文章提出一种序列评估模型，分别估计 L L L和 R R R，最后将评估后反射图 R ^ \widehat{R} R 和伽马矫正照明图 L ^ \widehat{L} L 合并得到增强图像。
二、序列分解模型
序列评估整体框架图：
分别评估照明图 L L L和反射图 R R R的序列方程为：
a r g m i n L ∥ L − L ^ ∥ F 2 + α ∥ ▽ L ∥ 1 \underset{L}{argmin}\left \| L-\widehat{L} \right \|_{F}^{2}+\alpha \left \| \bigtriangledown L \right \|_{1} Largmin∥∥∥L−L ∥∥∥F2+α∥▽L∥1 a r g m i n R ∥ R − S / L ∥ F 2 + β ∥ W ∘ ▽ R ∥ F 2 + ω ∥ ▽ R − G ∥ F 2 \underset{R}{argmin}\left \| R-S/L \right \|_{F}^{2}+\beta \left \| W\circ \bigtriangledown R \right \|_{F}^{2}+\omega \left \| \bigtriangledown R-G \right \|_{F}^{2} Rargmin∥R−S/L∥F2+β∥W∘▽R∥F2+ω∥▽R−G∥F2上式中， α \alpha α、 β \beta β、 ω \omega ω为系数表示每一项的重要程度， ∥ ⋅ ∥ F \left \| \cdot \right \|_{F} ∥⋅∥F和 ∥ ⋅ ∥ 1 \left \| \cdot \right \|_{1} ∥⋅∥1分别表示F-norm和1-norm， ▽ \bigtriangledown ▽表示一阶微分算子， ∘ \circ ∘和 / / /分别表示点乘和点除操作， W W W是原图 S S S的权重矩阵， G G G是原图 S S S的调整梯度。
以上各项分别代表：
- ∥ L − L ^ ∥ F 2 \left \| L-\widehat{L} \right \|_{F}^{2} ∥∥∥L−L ∥∥∥F2：初始照明图 L L L和照明估计 L ^ \widehat{L} L 之间的保真度。
- ∥ ▽ L ∥ 1 \left \| \bigtriangledown L \right \|_{1} ∥▽L∥1：照明图局部平滑度。
- ∥ R − S / L ∥ F 2 \left \| R-S/L \right \|_{F}^{2} ∥R−S/L∥F2：初始反射图 S / L S/L S/L和反射图估计 R R R的保真度。
- ∥ W ∘ ▽ R ∥ F 2 \left \| W\circ \bigtriangledown R \right \|_{F}^{2} ∥W∘▽R∥F2：调节反射估计 R R R的空间平滑度。
- ∥ ▽ R − G ∥ F 2 \left \| \bigtriangledown R-G \right \|_{F}^{2} ∥▽R−G∥F2：反射估计 R R R和原图 S S S的距离约束，调节全局对比度。
假设三通道共享照明图或者假设三通道具有相同的反射率。在YUV颜色空间中，设置 Y Y Y通道作为初始照明估计 L ^ \widehat{L} L 。
考虑到权重矩阵的区域平滑性， W W W公式为：
W = 1 ∣ ▽ S + ϵ ∣ W=\frac{1}{\left |\bigtriangledown S +\epsilon \right |} W=∣▽S+ϵ∣1同上篇博客， G G G是输入图 S S S的调整梯度： G = K ∘ ▽ S ^ G=K\circ\bigtriangledown\widehat{S} G=K∘▽S
其中： { K = ( 1 + λ e − ∣ ▽ S ^ ∣ / σ ) , ▽ S ^ = { 0 i f ∣ ▽ S ∣ < ε ▽ S o t h e r w i s e \left\{\begin{matrix} K=(1+\lambda e^{-\left | \bigtriangledown\widehat{S} \right |/\sigma }), & \\ \bigtriangledown\widehat{S}=\left\{\begin{matrix} 0 & if \left | \bigtriangledown S \right |<\varepsilon \\ \bigtriangledown S & otherwise \end{matrix}\right. & \end{matrix}\right. ⎩⎨⎧K=(1+λe−∣▽S ∣/σ),▽S ={0▽Sif∣▽S∣<εotherwise调整梯度 G G G具有自适应性，能够根据噪声强度分布有效抑制密集噪声，确保全局梯度均匀分布。
考虑到序列分解过程中照明估计 L ^ \widehat{L} L 和反射估计 R R R的无关性，所以对于一幅图像，矩阵 W W W和 G G G只计算一次。下面我们看看文章是怎么求解序列方程的。
Step 1：对于照明估计
由于1-norm难以求解，文章借用LIME中极限求和的方式来近似估计 ∥ ▽ L ∥ 1 \left \| \bigtriangledown L \right \|_{1} ∥▽L∥1，在LIME中基于等式：
lim ϵ → 0 + ∑ x ∑ d ∈ h , v W d ( x ) ( ▽ d A ( x ) ) 2 ∣ ( ▽ d A ( x ) ∣ + ϵ = ∥ W ∘ ▽ A ∥ 1 \lim_{\epsilon \rightarrow 0^{+}}\sum_{x}^{ }\sum_{d\in {h,v}}^{ }\frac{\mathbf{W}_{d}(x)(\triangledown _{d}\mathbf{A}(x))^{2}}{\left |(\triangledown _{d}\mathbf{A}(x) \right |+\epsilon }=\left \| \mathbf{W}\circ \triangledown \mathbf{A} \right \|_{1} ϵ→0+limx∑d∈h,v∑∣(▽dA(x)∣+ϵWd(x)(▽dA(x))2=∥W∘▽A∥1成立，替换 W W W和 A A A图像矩阵，在本文中可以近似替代 ∥ ▽ L ∥ 1 \left \| \triangledown L \right \|_{1} ∥▽L∥1得到：
∑ x ∑ d ∈ h , v ( ▽ d L ( x ) ) 2 ∣ ( ▽ d L ^ ( x ) ∣ + ϵ ← ∥ ▽ L ∥ 1 \sum_{x}^{ }\sum_{d\in {h,v}}^{ }\frac{(\triangledown _{d}L(x))^{2}}{\left |(\triangledown _{d}\widehat{L}(x) \right |+\epsilon }\leftarrow \left \| \triangledown L \right \|_{1} x∑d∈h,v∑∣∣∣(▽dL (x)∣∣∣+ϵ(▽dL(x))2←∥▽L∥1序列方程可写为：
a r g m i n L ∥ L − L ^ ∥ F 2 + α ∑ x ∑ d ∈ h , v ( ▽ d L ( x ) ) 2 ∣ ( ▽ d L ^ ( x ) ∣ + ϵ \underset{L}{argmin}\left \| L-\widehat{L} \right \|_{F}^{2}+\alpha\sum_{x}^{ }\sum_{d\in {h,v}}^{ }\frac{(\triangledown _{d}L(x))^{2}}{\left |(\triangledown _{d}\widehat{L}(x) \right |+\epsilon } Largmin∥∥∥L−L ∥∥∥F2+αx∑d∈h,v∑∣∣∣(▽dL (x)∣∣∣+ϵ(▽dL(x))2
至于为什么可以这样替代，在LIME中解释是替代后的目标函数提取照明估计 L ^ \widehat{L} L 的光照结构(The Structure of Illumination)与原始目标函数是一致的。然后用 A d ( x ) A_{d}(x) Ad(x)代替 α ∣ ( ▽ d L ^ ( x ) ∣ + ϵ \frac{\alpha }{\left |(\triangledown _{d}\widehat{L}(x) \right |+\epsilon } ∣(▽dL (x)∣+ϵα得：
a r g m i n L ∥ L − L ^ ∥ F 2 + ∑ x ∑ d ∈ h , v A d ( x ) ⋅ ( ▽ d L ( x ) ) 2 \underset{L}{argmin}\left \| L-\widehat{L} \right \|_{F}^{2}+\sum_{x}^{ }\sum_{d\in {h,v}}^{ }A_{d}(x)\cdot (\triangledown _{d}L(x))^{2} Largmin∥∥∥L−L ∥∥∥F2+x∑d∈h,v∑Ad(x)⋅(▽dL(x))2由于上式只包含二次项，通过对 L L L微分，并将导数设置为0可得到如下等式：
( I + ∑ d ∈ h , v D d T D i a g ( a d ) D d ) l = l ^ (I+\sum_{d\in {h,v}}D_{d}^{T}Diag(a_{d})D_{d})l=\widehat{l} (I+d∈h,v∑DdTDiag(ad)Dd)l=l 式中 I I I是单位矩阵， D D D表示前向差分离散梯度算子的Toeplitz矩阵，有水平和垂直方向 D h D_{h} Dh和 D v D_{v} Dv。通过对上式求解就能得到 L L L，我是没搞懂这个求导过程和求解的，有大佬知道的话麻烦评论告知，感谢！
Step 2：对于反射估计
同理，使用矩阵求和方式近似替代反射估计 R R R，文章只说了1-norm的近似替代方法，并没有说F-norm的替代方法，所以我猜想：
∑ x ∑ d ∈ h , v W d ( x ) ( ▽ d L ( x ) ) 2 ∣ ( ▽ d L ^ ( x ) ∣ + ϵ ← ∥ W ∘ ▽ R ∥ F \sum_{x}^{ }\sum_{d\in {h,v}}^{ }\frac{W_{d}(x)(\triangledown _{d}L(x))^{2}}{\left |(\triangledown _{d}\widehat{L}(x) \right |+\epsilon }\leftarrow \left \| W\circ \triangledown R \right \|_{F} x∑d∈h,v∑∣∣∣(▽dL (x)∣∣∣+ϵWd(x)(▽dL(x))2←∥W∘▽R∥F
得到的反射估计 R R R的序列方程为：
X
对序列方程微分，并将导数置0，可得：
( I + ∑ d ∈ h , v β D d T D i a g ( w d ) D d + ∑ d ∈ h , v ω D d T D d ) r = s / l + ∑ d ∈ h , v ω D d T g d (I+\sum_{d\in h,v}^{ } \beta D_{d}^{T}Diag(w_{d})D_{d}+\sum_{d\in h,v}^{ }\omega D_{d}^{T}D_{d})r=s/l+\sum_{d\in h,v}^{ }\omega D_{d}^{T}g_{d} (I+d∈h,v∑βDdTDiag(wd)Dd+d∈h,v∑ωDdTDd)r=s/l+d∈h,v∑ωDdTgd由于上面两个都是对称正定Laplacian矩阵方程，通过矩阵操作可求解。
Step 3：合并 L L L和 R R R得到最终增强图像
通过Gamma矫正调整照明对比度并得到最终增强图 S ′ {S}' S′，公式如下： S ′ = R ∘ L ′ 1 / γ {S}'={R}\circ {L}^{' 1/\gamma } S′=R∘L′1/γ根据经验 γ \gamma γ设置为2.2，其他参数设置见原文。
三、效果展示
对比度增强效果：HE、NPE、SRIE对比度局部或整体欠增强，而且增强后存在大量噪声。LIME局部过增强，且部分细节被破坏。
去噪效果：文章通过弱光增强方法+BM3D去噪与本文算法对比实现对比实验的，值得借鉴！
1、源码
JED[文章PDF]
GitHub代码
图片数据集[BSDS500]
2、个人总结
这篇文章同样是用优化方程求解最佳照明和反射估计，但是考虑到噪声主要在反射图中存在的事实，通过分别估计照明和反射图，避免了L和R相互影响，有效去除了反射图噪声，这对于有大量噪声的光照均匀的图像的确有很好的效果，但是分别估计也对融合之后的整体效果造成影响，局部细节能否继续修正解决不均匀光照的对比度和有效去噪效果！个人愚见…