LIME Low light Image Enhancement via Illumination Map Estimation

文章目录

  • LIME: Low-light Image Enhancement via Illumination Map Estimation
    • 0 Abstract and Introduction
    • 1 Methodology
      • A Illumination Map Estimation
      • B Exact Solver to Problem
        • T sub-problem
        • G sub-problem
        • Z and μ \mu μ
        • C Sped-up Solver to Problem
      • EXPERIMENTS
        • 5 CONCLUSION

LIME: Low-light Image Enhancement via Illumination Map Estimation

0 Abstract and Introduction

通过寻找RGB三通道中的最大值,并分别估计每个像素的illumination,然后添加一个结构来完善initial illumination map 来作为最终的illumination map。

该方法具有LIME的有效性,并具有很好的图像增强效果和效率。

高可见度的图像具有目标场景的具体细节,low-light情况下的图像可见度低,
LIME Low light Image Enhancement via Illumination Map Estimation_第1张图片

Contribution:

基于Retinex策略估计illumination map来增强低光照。本方法只估计illumination 缩小solution space并减少计算成本。

1.求解RGB三通道每个像素的最大强度来构造illumination map,使用illumination structure 来构造illumination map。

2.采用An Augmented Lagrangian Multiplier (ALM)算法来求解优化问题,并设计sped-up solver减少计算量,

1 Methodology

基于Retinex模型:

L = R ∘ T L=R \circ T L=RT ------》model (1)

L是捕捉图片。

R是desired recovery。

T是illumination map。

∘ \circ 是 element-wise multiplication.

对于彩色图像,三通道共享illumination map,使用 T ( T ^ ) T(\hat{T}) T(T^)交替表示一个通道和三通道illumination map。

model (1)物理意义:the observed image 能被分解为the desired light-enhanced scene 和the illumination map。

The instrinsic image decomposition的目的是从给定图像中恢复给定图像中the reflectance 分量和the shading 分量。
LIME Low light Image Enhancement via Illumination Map Estimation_第2张图片

As shown in Fig.3 b 中 the reflectance 缺少盒子形状。c能recall 黑暗区域的视觉内容,同时保持视觉的真实感。

使用the reflectance 作为增强结果,并使用modified illumination 返回到the reflectance,

本方法对低光照图片进行调亮。通过 L = R ∘ T L=R \circ T L=RT 使用 R = R / T R=R / T R=R/T (对元素进行除法) T T T的估计是 R R R恢复的关键,估计值为 T ^ \hat{T} T^,增强结果为 L / T ^ L/ \hat{T} L/T^

A Illumination Map Estimation

Max-RGB(颜色恒常性)通过求解RGB的最大值来估计光照。

为了处理非均匀光照,交替采用

T ^ ( x ) ← m a x c ∈ { R , G , B } L c ( x ) \hat{T}(x) ← \underset {c∈\left\{R,G,B\right\} }{max} L^c(x) T^(x)c{R,G,B}maxLc(x) 意义为 在某一位置,illumination至少是三通道的最大值。

因为 R ( x ) = L ( x ) / ( m a x c L c ( x ) + ε ) R(x) = L(x)/(\underset{c}{max} L^c(x) + \varepsilon) R(x)=L(x)/(cmaxLc(x)+ε)得到的 T ^ ( x ) \hat{T}(x) T^(x)保证恢复不会饱和, ε \varepsilon ε 是防止分母为零。

基于inverted low-light 图片 1 — L 1 — L 1—L 与haze 雾霾图像的观察: 1 − L = ( 1 − R ) ∘ T ~ + a ( 1 − T ~ ) 1-L = (1-R)\circ \widetilde{T} + a(1-\widetilde{T}) 1L=(1R)T +a(1T ) a a a为global atmosphere light,

暗通道先验(the dark channel prior)用于估计去雾传输图的先验: T ~ ( x ) ← 1 − m i n c 1 − L c ( x ) a = 1 − 1 a + m a x c L c ( x ) a \widetilde{T}(x) \leftarrow 1-\underset{c}{min}\frac{1-L^c(x)}{a} = 1-\frac{1}{a} + \underset{c}{max}\frac{L^c(x)}{a} T (x)1cmina1Lc(x)=1a1+cmaxaLc(x)

代入 T ~ ( x ) ← 1 − m i n c 1 − L c ( x ) a = 1 − 1 a + m a x c L c ( x ) a \widetilde{T}(x) \leftarrow 1-\underset{c}{min}\frac{1-L^c(x)}{a} = 1-\frac{1}{a} + \underset{c}{max}\frac{L^c(x)}{a} T (x)1cmina1Lc(x)=1a1+cmaxaLc(x) 1 − L = ( 1 − R ) ∘ T ~ + a ( 1 − T ~ ) 1-L = (1-R)\circ \widetilde{T} + a(1-\widetilde{T}) 1L=(1R)T +a(1T )里去:

R ( x ) = L ( x ) − 1 + a 1 − 1 a + m a x c L c ( x ) a + ε + ( 1 + a ) R(x) = \frac{L(x)-1+a}{1-\frac{1}{a}+\underset{c}{max}\frac{L^c(x)}{a}+\varepsilon} +(1+a) R(x)=1a1+cmaxaLc(x)+εL(x)1+a+(1+a)

a = 1 a = 1 a=1 R ( x ) = L ( x ) / ( m a x c L c ( x ) + ε ) R(x) = L(x)/(\underset{c}{max} L^c(x) + \varepsilon) R(x)=L(x)/(cmaxLc(x)+ε) R ( x ) = L ( x ) − 1 + a 1 − 1 a + m a x c L c ( x ) a + ε R(x) = \frac{L(x)-1+a}{1-\frac{1}{a}+\underset{c}{max}\frac{L^c(x)}{a}+\varepsilon} R(x)=1a1+cmaxaLc(x)+εL(x)1+a达到相同结果,当a不为1时,则结果不同。

the atmosphere light 大于0.95,the R ( x ) = L ( x ) − 1 + a 1 − 1 a + m a x c L c ( x ) a + ε + ( 1 + a ) R(x) = \frac{L(x)-1+a}{1-\frac{1}{a}+\underset{c}{max}\frac{L^c(x)}{a}+\varepsilon} +(1+a) R(x)=1a1+cmaxaLc(x)+εL(x)1+a+(1+a) and R ( x ) = L ( x ) / ( m a x c L c ( x ) + ε ) R(x) = L(x)/(\underset{c}{max} L^c(x) + \varepsilon) R(x)=L(x)/(cmaxLc(x)+ε)

使用 T ^ ( x ) ← m a x c ∈ { R , G , B } L c ( x ) \hat{T}(x) ← \underset {c∈\left\{R,G,B\right\} }{max} L^c(x) T^(x)c{R,G,B}maxLc(x)去评估 illumination map $\hat{T} $. 使用计算目标像素周围小区域内相邻像素,

T ^ ( x ) ← m a x y ∈ Ω ( x ) m a x c ∈ { R , G , B } L c ( y ) \hat{T}(x) ←\underset{y\in \Omega (x)}{max} \underset {c∈\left\{R,G,B\right\} }{max} L^c(y) T^(x)yΩ(x)maxc{R,G,B}maxLc(y)

T ^ ( x ) ← m e a n y ∈ Ω ( x ) m a x c ∈ { R , G , B } L c ( y ) \hat{T}(x) ←\underset{y\in \Omega (x)}{mean} \underset {c∈\left\{R,G,B\right\} }{max} L^c(y) T^(x)yΩ(x)meanc{R,G,B}maxLc(y)

Ω \Omega Ω 是以像素 x x x为中心的区域。 y y y是区域内的位置索引。

保持整体结构和平滑的纹理细节,提出了 m i n T ∣ ∣ T ^ − T ∣ ∣ F 2 + a ∣ ∣ W ∘ Δ T ∣ ∣ 1 \underset{T}{min}||\hat{T}-T||^2_F+a||W \circ \Delta T||_1 Tmin∣∣T^TF2+a∣∣WΔT1

B Exact Solver to Problem

T sub-problem

L = ∣ ∣ T ′ − T ∣ ∣ F 2 + k ∣ ∣ W ⋅ G ∣ ∣ 1 + Φ ( ( Z , ∇ T − G ) L=||T'-T||^2_F +k||W\cdot G||_1+Φ((Z, ∇T − G) L=∣∣TTF2+k∣∣WG1+Φ((Z,TG) T T T单独优化为 T ( t + 1 ) ← a r g m i n T ∣ ∣ T ^ − T ∣ ∣ F 2 Φ ( ( Z ( t ) , ∇ T − G ( t ) ) T^{(t+1)} ←\underset{T}{argmin}||\hat{T}-T||^2_F Φ((Z^{(t)}, ∇T − G^{(t)}) T(t+1)Targmin∣∣T^TF2Φ((Z(t),TG(t)),并对其求微分,令其为0:

2 ( T − T ^ ) + μ ( t ) D T ( D T − G ( t ) ) + D T Z ( t ) = 0 ⇒ ( 2 I + µ ( t ) D T D ) T = 2 T ^ + µ ( t ) D T ( G ( t ) − Z ( t ) µ ( t ) ) 2(T − \hat{T} ) + \mu^{(t)}D^T(DT − G^{(t)}) + D^TZ^{(t)} = 0⇒(2I + µ^{(t)}D^TD)T = 2\hat{T}+ µ^{(t)}D^T(G^{(t)} −\frac{Z^{(t)}}{µ^{(t)}}) 2(TT^)+μ(t)DT(DTG(t))+DTZ(t)=0(2I+µ(t)DTD)T=2T^+µ(t)DT(G(t)µ(t)Z(t))

I I I为单位矩阵,D为具有向前差异的离散梯度算子的托普兹矩阵。通过快速傅里叶变换:

在这里插入图片描述

G sub-problem

去掉 L = ∣ ∣ T ′ − T ∣ ∣ F 2 + k ∣ ∣ W ⋅ G ∣ ∣ 1 + Φ ( ( Z , ∇ T − G ) L=||T'-T||^2_F +k||W\cdot G||_1+Φ((Z, ∇T − G) L=∣∣TTF2+k∣∣WG1+Φ((Z,TG)中与G无关的项:

在这里插入图片描述

使用收缩操作获得:
LIME Low light Image Enhancement via Illumination Map Estimation_第3张图片

Z and μ \mu μ

更新Z和$\mu $得到

LIME Low light Image Enhancement via Illumination Map Estimation_第4张图片

C Sped-up Solver to Problem

进一步优化,迭代过程的因素是稀疏加权梯度项 ∣ ∣ W ∘ Δ T ∣ ∣ 1 ||W \circ \Delta T||_1 ∣∣WΔT1 L 1 L1 L1正则项与在 T T T上求梯度的运算。
在这里插入图片描述

(16)近似于 ∣ ∣ W ∘ ∇ T ∣ ∣ ||W \circ \nabla T|| ∣∣WT∣∣。因此 m i n T ∣ ∣ T ^ − T ∣ ∣ F 2 + a ∣ ∣ W ∘ Δ T ∣ ∣ 1 \underset{T}{min}||\hat{T}-T||^2_F+a||W \circ \Delta T||_1 Tmin∣∣T^TF2+a∣∣WΔT1可得
在这里插入图片描述

EXPERIMENTS

LIME Low light Image Enhancement via Illumination Map Estimation_第5张图片

LIME Low light Image Enhancement via Illumination Map Estimation_第6张图片

5 CONCLUSION

提出结构感知平滑模型。

设计两个算法:1.可以得到目标问题的精确最优解。2.节省大量时间的情况下求解近似问题

模型适用不同的加权策略。

你可能感兴趣的:(图像处理,python)