论文阅读笔记----HDR image reconstruction from a single exposure using deep CNNs

Eilertsen G, Kronander J, Denes G, et al. HDR image reconstruction from a single exposure using deep CNNs[J]. ACM Transactions on Graphics (TOG), 2017, 36(6): 1-15.

代码： https://github.com/gabrieleilertsen/hdrcnn

主要贡献可以总结为:

(1)一个深度学习系统，它可以从任意一幅暴露的LDR图像中重建出高质量的HDR图像，前提是饱和区域相当小。

(2)一种混合动态范围自动编码器，专门针对LDR输入数据和HDR输出图像进行操作。它利用了HDR特有的传输学习、跳跃连接、颜色空间和损失函数。

(3)HDR重建的质量确认在HDR显示、主观评价,预测图像相比,HDR和存贷比图像以及代表iTMO使用一个随机选择的测试图像在图像选择为了避免偏见。

(4)将HDR重建CNN和经过训练的参数在线提供，可以从任何LDR图像进行预测:https://github.com/gabrieleilertsen/hdrcnn。

HDR重建模型：

 目标是在给定一个任意相机产生的LDR图像，预测它的饱和像素值。为了生成最终的HDR图像，将预测的像素与线性化的输入图像相结合。

最终重建的HDR像素 .  是输入的LDR图像像素，  是CNN的输出（在log 域), 反相机曲线用于将输入转换为线性域

与二值掩膜相比，线性混合可以防止在预测的高光与其周围环境之间产生带状伪影。

虽然我们只考虑重建饱和图像区域的问题，但我们认为这是将LDR图像转换为HDR时最重要的部分，并且它可以用于广泛的情况。典型的相机传感器可以捕捉8到12个动态范围，这通常足以记录所有的纹理区域。然而，许多场景包含少量的像素，这些像素非常明亮，因此饱和。这些可以重建与建议的方法，而不是捕获多个曝光或使用专门的HDR相机。我们的方法不打算恢复动态范围的下限，即传感器的噪声下限。相反，暴露不足区域的问题最好通过增加曝光时间或曝光增益(ISO)来解决。这将导致更多的饱和像素，然后可以使用我们的方法恢复 

混合动态范围自动编码器

所有层都使用ReLU激活函数，跳线连接的线性化是使用伽玛函数完成的 

LOSS  FUNCTION:

预测的HDR 图像 (log 域)， 线性域 GT H.

                      eq. 5

 

illuminance + reflectance (I/R) loss with λ = 0.5 :

    eq.7

与公式5中的直接损失相比，使用I/R损失在视觉上的改进是细微的。然而，一般来说，它倾向于在大的饱和区域产生较少的瑕疵，如图6。一种可能的解释是，损失函数中的高斯低通滤波器可能具有正则化效果，因为它使像素的损失受到其邻域的影响

相机相应函数：

使用Grossberg and Nayar[2003] 的均值：

模拟HDR 训练数据：

 表示HDR图 H 的直方图，  表示1-v的分位数， 放缩因子s 用于在裁剪图片是删除5-15% 的信息。

M. D. Grossberg and S. K. Nayar. 2003. What is the space of camera response functions?. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR ’03)., Vol. 2. II–602–9.