图像增强系列二：Underexposed Photo Enhancement using Deep Illumination Estimation
可能涉及的点。。
图像处理中，如一些去雾去雨算法等，直接在原图上操作的话计算量太大。因而常常下采样原图后再进行处理，处理完后再进行上采样恢复。但直接上采样，如最近邻，双线性等。上采样结果在边缘处效果都不太好。
paper1:Joint Bilateral Upsampling
即下采样处理完后再上采样的过程中，利用原图(大分辨率)的信息来辅助恢复上采样。 f 和 g f和g f和g为双边滤波核， I ~ \tilde I I~为原大分辨率图， p , q p,q p,q为对应大分辨率的坐标， p ↓ 和 q ↓ p\downarrow 和q\downarrow p↓和q↓为对应的在小分辨率下的坐标（即带小数坐标）。S为处理后的小分辨率图， S ~ \tilde S S~为上采样结果。
S ~ p = 1 k p ∑ q ↓ ∈ Ω S q ↓ f ( ∣ ∣ p ↓ − q ↓ ∣ ∣ ) g ( ∣ ∣ I ~ p − I ~ q ∣ ∣ ) (1) \tilde S_p={1\over k_p}\sum_{q\downarrow \in Ω}S_{q\downarrow}f(||p\downarrow - q\downarrow||)g(||\tilde I_p - \tilde I_q||) \tag1 S~p=kp1q↓∈Ω∑Sq↓f(∣∣p↓−q↓∣∣)g(∣∣I~p−I~q∣∣)(1)
在上式中 S q ↓ S_{q\downarrow} Sq↓中的 q ↓ q\downarrow q↓是取整的，而在 f f f中是带小数的。
另，直接上采样（最近邻，双线性等）处理后的小分辨率图，而后在用双边滤波。 I I I为上采样图。
S ~ p = 1 k p ∑ q ∈ Ω I q f ( ∣ ∣ p − q ∣ ∣ ) g ( ∣ ∣ I ~ p − I ~ q ∣ ∣ ) (2) \tilde S_p={1\over k_p}\sum_{q\in Ω}I_qf(||p-q||)g(||\tilde I_p - \tilde I_q||)\tag 2 S~p=kp1q∈Ω∑Iqf(∣∣p−q∣∣)g(∣∣I~p−I~q∣∣)(2)
注：这部分是自己的理解，不知道是否正确。。。
小结：和高斯双边类似，一个核基于距离（ f f f），一个核基于像素值（ g g g）。由于 g g g中实际上考虑的是像素间的相对差值。因此对如去雨，去雾，增强之类的图像处理，其处理前后相对大小的关系基本不变。因为可以用处理前的大分辨率图去指导处理后的小分辨率图上采样。对边缘部分的恢复应该帮助挺大的。
试了下，没有实现出效果。。后续再找找问题吧。。也可能理解错了。
paper2:Bilateral Guided Upsampling 后续再补吧
Underexposed Photo Enhancement using Deep Illumination Estimation
dataset：收集一批低曝光图片，然后找人P图，作为对应的ground truth。
网络结构：
网络里主要包含2个模块Local feature extractor(contrast, detail sharpness, shadow, and highlight) 和一个global features extractor(color distribution, average brightness, and scene category)。
基本思想：
网络从低光照输入 I I I得到一个映射关系 F 即 I ~ = F ( I ) = F ∗ I \mathcal F即\tilde I=\mathcal F(I)=F*I F即I~=F(I)=F∗I来求得正常亮度的输出 I ~ \tilde I I~，而在实际操作时，作者并不是直接去求 F F F，而是求 F F F的逆S，即 S − 1 = F S^{-1}=F S−1=F。
I ~ = F ( I ) = S − 1 ∗ I (1) \tilde I = \mathcal F(I)=S^{-1}*I \tag1 I~=F(I)=S−1∗I(1)
即S可视为光照估计。因为作者认为光照的形式比较简单，更容易学习。。(按照retinex理论的话，这个S就类似于对低光照图像的亮度补偿？？有空再去看相关论文)
Loss:
L = ∑ i = 1 N w r L r i + w s L s i + w c L c i (2) \mathcal L=\sum_{i=1}^N w_r\mathcal L_r^i+w_s\mathcal L_s^i+w_c\mathcal L_c^i \tag2 L=i=1∑NwrLri+wsLsi+wcLci(2)
Reconstruction Loss:
L r = ∣ ∣ I − S ∗ I ~ ∣ ∣ 2 s . t . ( I ) c ≤ ( S ) c ≤ 1 ， ∀ c h a n n e l c (3) \mathcal L_r=||I-S*\tilde I||^2 \\ s.t. (I)_c \leq (S)_c \leq 1，\forall channel \ \ c \tag3 Lr=∣∣I−S∗I~∣∣2s.t.(I)c≤(S)c≤1，∀channel c(3)
L r \mathcal L_r Lr定义如(3)，其中 I , I ~ I,\tilde I I,I~被压缩至[0,1]。因为该loss的优化方向是使得 I ~ = I / S \tilde I=I/ S I~=I/S为了确保 I ~ \tilde I I~不越界（不大于1），所以 ( I ) c ≤ ( S ) c (I)_c \leq (S)_c (I)c≤(S)c。又因为目标是暗光增强，即 I ~ ≥ I \tilde I \ge I I~≥I，因此需要 ( S ) c ≤ 1 (S)_c \leq 1 (S)c≤1。其中c为通道，该网络在RGB三个通道上分别处理。
Smoothness Loss:
L s = ∑ p ∑ c w x , c p ( ∂ x S p ) c 2 + w y , c p ( ∂ y S p ) c 2 w x , c p = ( ∣ ∂ x L i p ∣ c θ + ϵ ) − 1 w y , c p = ( ∣ ∂ y L i p ∣ c θ + ϵ ) − 1 (4) \mathcal L_s=\sum_p \sum_c w_{x,c}^p(\partial_x S_p)^2_c+ w_{y,c}^p(\partial_y S_p)^2_c\\ w_{x,c}^p=(|\partial_x L_i^p|_c^\theta+\epsilon)^{-1} \\ w_{y,c}^p=(|\partial_y L_i^p|_c^\theta+\epsilon)^{-1} \tag4 Ls=p∑c∑wx,cp(∂xSp)c2+wy,cp(∂ySp)c2wx,cp=(∣∂xLip∣cθ+ϵ)−1wy,cp=(∣∂yLip∣cθ+ϵ)−1(4)
L s \mathcal L_s Ls和retinex一样为光照平滑loss， p p p为坐标值。通过对 S S S的水平梯度和竖直梯度增加loss限制，使得学到的S平滑。
其中 w w w为权重， L L L为原图的像素值，经 log \log log函数进行了压缩。即在原图中，亮度值变化小的地方权重大（即光照图平滑），亮度值变化大的地方权重小（loss小，光照图不平滑）。It is intriguing to note that for underexposed photos, image content and details are often weak. Large gradients are more likely incurred by inconsistent illumination。即梯度变化大的地方，应该就是光照不连续的地方。
Color Loss:
L c = ∑ p ∠ ( ( F ( i ) ) p , ( I ~ ) p ) (5) \mathcal L_c=\sum_p \angle((\mathcal F(i))_p,(\tilde I)_p) \tag5 Lc=p∑∠((F(i))p,(I~)p)(5)
即 F ( I ) \mathcal F(I) F(I)为网络输出结果， I ~ \tilde I I~为专家修图结果(ground truth)。两者根据角度计算loss，因为 F ( I ) p \mathcal F(I)_p F(I)p和 I ~ p \tilde I_p I~p分别为一个三维向量（RGB）。计算这两个向量的angle作为loss。以angle作为loss而不是计算L2 loss的原因为：
- 在Reconstruction Loss中已经蕴含了L2 loss在里面了。
- L2 loss的优化方向并不能保证 color vectors have the same direction。可能带来颜色失真。
Result
