图像增强论文《High-Quality Exposure Correction of Underexposed Photos》

ACM MM 2018的论文，做的是欠曝光图像的增强。
本文认为，之前的进行暗光增强的方法会导致visual artifacts，比如色彩空间的扭曲、细节损失、曝光度一致性不够，云云。作者认为这些artifacts产生的原因是传统的变换方法打破了输入和输出的感知一致性（perceptually similarity）。
由Retinex理论，作者把问题暗光图像增强问题看做光照图像的预测问题，并且使用感知双向相似性（perceptually bidirectional similarity,PBS）来进行三个方面的约束，从而获得合适的曝光度、鲜艳的色彩以及清晰的纹理。

Retinex 理论
一张图像I可以被分解为反射图像R和光照图像S的乘积，即$I=S\times R$。本文的目的是通过预测S，从而通过R=I/S来获得曝光度合适的图像。

感知性双向相似性(Perceptually Bidirectional Similarity)
作者认为，artifacts产生的原因是输入图像和输出图像中无法保证一致性(visual consistency),因此PBS可以被定义为下述两点：

1. I中存在的色彩和纹理也应该存在于R中；I中连续的曝光度特征也应该在R中连续。
2. R中不应该包含I中不存在的色彩、纹理和曝光度特征。

由此定义PBS的三个约束：色彩空间约束、纹理约束、曝光度约束。
色彩空间一致性约束
假设输入图像I被归一化到[0,1]之间，由于R=I/S可知，S越小，R的RGB值越大；S越大，R的RGB值越小。当S过小时，R会跳出[0,1]区间，导致色彩的不一致性。为了避免这一问题，我们将光照矩阵S的RGB值限制在I的全部RGB值中的最大值。即$$max{I}_p^c=\Gamma (S_p^{min}),c\in \{r,g,b\}$$
其中$\Gamma$是Gamma函数$\Gamma (\alpha )={\alpha }^{\gamma }$，其中$\gamma \in (0,1)$,因此，$S_p^{min}=(max{I}_p^c{)}^{1/\gamma }$。色彩空间约束可被描述为$S_p^{min}\le S_p\le 1$
纹理一致性约束
假设I在像素p附近平滑，则R也应该是平滑的；假设I在像素p附近有edge，那么R就应该有更强的或者相同的edge。可被表示为
$$\{\begin{array}{llc}\nabla R_p=0& & |\nabla I_p|\le \tau \\ {\delta }_d{R}_p/{\delta }_d{I}_p\ge 1& & |\nabla I_p|>\tau \end{array}$$
$\tau$控制是否为边缘
曝光度一致性约束
通过Total Variation Measure（全变分方法）来获得分段光滑的光照图像S。

基于光照图像估计的优化（Illumination Estimation Optimization）
首先初始化$S^{\prime }$,让$S^{\prime }=max{I}_p^c$,以避免在运算$R_p=I_p^c/S{p}^{\prime }$的时候R超过[0,1]的范围
最初优化的方程如下：$$\underset{S}{\mathrm{argmin}}E(S)=E_d(S)+{\lambda }_c{E}_c(S)+{\lambda }_t{E}_t(S)+{\lambda }_e{E}_e(S)$$
$E_d$目的是使得S尽可能接近于S’，$E_c,E_t,E_e$的目的是进行色彩、纹理和曝光度的PBS约束。$\lambda$是权重值。
通过Relative Total Variation（RTV），优化方程变为$$\underset{S}{\mathrm{argmin}}\sum _p(S_p-S_p^{\prime }{)}^2+\lambda (\mathcal{H}({\mathcal{S}}_p)+\mathcal{V}({\mathcal{S}}_p))$$
$$s.t.S_p^{min}\le S_p\le 1,\{\begin{array}{llc}\nabla R_p=0& & |\nabla I_p|\le \tau \\ {\delta }_d{R}_p/{\delta }_d{I}_p\ge 1& & |\nabla I_p|>\tau \end{array}$$
$\mathcal{H}(S_p)$和$\mathcal{V}(S_p)$指垂直方向和水平方向的相对全变分RTV方法。

Solver
把非凸优化问题通过ADMM方法来解决。
首先将Retinex理论转化到对数域，令$\mathcal{I}=log(I),\mathcal{R}=log(R),\mathcal{S}=log(S)$,且${\mathcal{S}}^{\prime }=log(S^{\prime })$，因此有$\mathcal{I}=\mathcal{R}+\mathcal{S}$
色彩空间一致性约束和纹理一致性约束表现为：
$$\{\begin{array}{llc}\nabla (\mathcal{I}-\mathcal{S}{)}_p=0& & |\nabla I_p|\le \tau \\ e^{\mathcal{I}-\mathcal{S}}{\delta }_d(\mathcal{I}-\mathcal{S}{)}_p/(e^{\mathcal{I}}{\delta }_d{\mathcal{I}}_p)\ge 1& & |\nabla I_p|\ge \tau \end{array}$$