基于CNN的HDR重建(二 单帧的)

目录

CNN多帧：基于CNN的HDR重建(一 多帧的)

CNN单帧：

ExpandNet: A Deep Convolutional Neural Network for High Dynamic Range Expansion from Low Dynamic Range Content 2018 EUROGRAPHICS

Image Correction via Deep Reciprocating HDR Transformation 2018 CVPR

Deep Reverse Tone Mapping 2017

---

ExpandNet: A Deep Convolutional Neural Network for High Dynamic Range Expansion from Low Dynamic Range Content

     该网络重点放在网络设计上，设计了三种不同网络分别获取图像的高频细节，中等细节，和整体轮廓信息。另外就是作者认为网络中的上采样和降采样会导致结构出现各种artifact，例如色块，马赛克等问题。因此其中两个网络不存在将采用和上采样操作。

整个框架的三个分支是局部分支、扩展分支和全局分支。每个分支本身就是一个接受RGB的CNN，LDR图像作为输入。这三个分支中的每一个都负责一个特定的方面，本地分支处理本地细节，维护和扩展高频细节，扩展分支处理中级细节，学习关于较大像素邻域的信息，全局分支负责更高级别的图像范围的特性，通过学习输入的全局上下文提供总体信息。这样设计体系结构旨在避免对下采样特征进行上采样，这样是为了减少马赛克或者光晕artifact。例自动编码器架构。

 

分别解释三个分支：

global branch: 全局分支寻求减少输入的维数并捕获抽象特征，输入图像为256*256，经过7个步长为2输出通道64的卷积，这样降采样到1*1，特征层数为64。

Local branch:局部分支的小接受域提供像素级的学习，保持高频细节，一根两个卷积，分别为5*5*64 和 3*3*128，步长都为1。

dilation branch：扩张支具有较宽的接受野，采用17*17，并且采用空洞卷积，空洞卷积间隔为2。空洞卷积是一种大而稀疏的卷积核，用于快速增加接收域的。共使用4个膨胀空洞卷积层，每个空洞卷积层具有64个特征。随着接受域的增大，扩张网络捕获的局部特征具有中等范围的频率，而其他两个聚焦于频率两个极端的分支则错过了这些频率。

 

损失函数采用L1而不是L2，L2会导致结果模糊，为了保证每个像素的RGB向量的颜色正确性，增加了额外的余弦相似项。余弦相似度通过比较两个向量之间的夹角来度量两个向量之间的距离，而不考虑大小。

这项工作的主要贡献：

1提出了一种全新的框架，用于重建HDR图像

2与其他测试方法(包括应用于单一曝光的其他CNN架构)相竞争的结果。

3通过不同的暴露和位置选择对有限的HDR内容进行数据扩增，获得更多的LDR-HDR训练对。

4 LDR与HDR展开方法的综合定量比较。

 Image Correction via Deep Reciprocating HDR Transformation

 单张LDR重建出HDR，在本文中，作者再回顾了图像的形成过程，发现这些区域中缺失的细节都存在于相应的高动态范围内(HDR)数据 ，也就是再进行tonemap之前，因为本事获得数据是RAW数据，前期处理时，都是高动态范围了，每一个像素可能为10bit甚至更多，因为要显示在显示器上，被tonemapping，范围被压缩到8bit了，因此作者觉得可以先将LDR图像转到HDR域图像，然后再进行tonemapping，传统方法中要获得HDR域图像，一般基于相机相应函数，一般用伽马函数来建立模型，这里作者试图用两个U-net网络来学习出相机相应函数和tonemap操作。

 单张LDR重建出HDR，在本文中，作者再回顾了图像的形成过程，发现这些区域中缺失的细节都存在于相应的高动态范围内(HDR)数据 ，也就是再进行tonemap之前，因为本事获得数据是RAW数据，前期处理时，都是高动态范围了，每一个像素可能为10bit甚至更多，因为要显示在显示器上，被tonemapping，范围被压缩到8bit了，因此作者觉得可以先将LDR图像转到HDR域图像，然后再进行tonemapping，传统方法中要获得HDR域图像，一般基于相机相应函数，一般用伽马函数来建立模型，这里作者试图用两个U-net网络来学习出相机相应函数和tonemap操作。

 

 Deep Reverse Tone Mapping

单张图像重建HDR，基于学习，单张图像生成曝光包围的图像序列，然后进行融合得到HDR图像，该方法利用三维反卷积网络，通过学习曝光增加或减少时，像素值的相对变化，不仅可以在不引入可见噪声的情况下再现自然色调，而且可以再现饱和像素的颜色。ground-truth HDR images 。

     作者试图训练出一个网络，当输入一张LDR图像时，其可以输出不同曝光的图像，然后这些不同曝光的图像到达曝光包围的效果，再进行常规的曝光融合得到HDR图像, 融合采用Debc，Mertens。各种Tonemapped，作者的目标是学习.hdr 格式的图像，因此重点是训练出这么个网络。

     图像的曝光理论可以再HDR域进行修改，因为在HDR域中，图像的像素值跟光照强度呈线性关系，因此很多人研究相机相应函数CRF，因为通过CRF映射，可以将LDR域映射到HDR域，那么如何选择何使的CRF函数（200多种），作者通过聚类得到了能代表大众的CRF函数，然后基于这5种CRF来训练网络。得到一个可以产生多帧曝光的网络。（因为本事输入只有一张图像，单张图像求CRF的方法确实也有，但是理论上不如多帧求CRF，作者这个网络没有验证，但愿不错）。