Burst photography for high dynamic range and low-light imaging on mobile cameras 阅读理解

 

1 提出问题：手机拍照因为设备限制，各种不行

手机摄像头的光圈很小，这限制了它们能收集到的光子的数量，导致在低光照下产生噪声的图像，而且手机还具有较小的传感器像素，这限制了每个像素可以存储的电子数量，导致有限的动态范围。我们描述了一个拍照pipeline，依次为捕获、对齐和合并一组帧，通过对多个帧进行对齐和合并，与输入帧相比，我们生成的中间图像具有更高的比特深度、更高的动态范围和更低的噪声。我们的系统有几个关键特性，有助于使其健壮和高效。

 

2 关键点

1. 首先，我们不使用包围曝光。相反，我们捕捉固定曝光的帧，这使得对齐更加健壮；我们将曝光设置得足够低，以避免过曝，这样合并后的图像具有干净的阴影和高比特深度，允许我们应用标准的HDR色调映射方法。虽然使用较低的曝光似乎会使噪声更糟，但我们通过捕获和合并多个帧来抵消这种影响。

（如何实现动态范围？）

1. 其次，我们从拜耳的原始帧开始，而不是从ISP出来的图像开始。这给了我们更多的比特像素，并允许我们绕过ISP不需要的色调映射和空间去噪。
2. 第三，我们使用新颖得基于快速傅里叶变换(fft)的对齐算法和混合二维/三维维纳滤波器对突发帧进行降噪和合并。我们的实现构建在Android的Camera2 API之上，该API提供每帧相机控制和对原始图像的访问。它在设备上运行仅需4秒(对于12 Mpix图像)，不需要用户干预，并且可以在几部批量生产的手机上运行。

                                                                           

（4）我们的方法的一个关键的实现技术是能够要求一个突发中每帧具有特定的曝光时间和增益。（Camera2 API），另外提高Raw数据。

Raw数据的好处：

1 ）数据量大，高bit数据；

2）线性值：在减去黑色水平偏移量后，原始图像与场景亮度成正比，线性化使我们能够准确地对传感器噪声进行建模，使对齐和合并更加可靠，也使自动曝光更加容易。

3） 相比ISP生成的图像，Raw数据操作实用各种相机。

 

（5）自动曝光：移动ISP的一个重要功能是在用户瞄准相机时不断调整曝光时间、增益、焦距和白平衡，自动曝光，作者开发了一个自定义的自动曝光算法，它可以感知未来的色调映射，不仅负责确定整体曝光，还负责确定未来的动态范围压缩。

1）故意曝光不足，防止过曝

2）捕获多帧以达到降噪

3）通过局部色调映射达到范围压缩

 

 

3 帧对齐：

图像对齐就是去寻找参考帧和支持帧之间的稠密关系。研究这个关系的方法很多，目前很多方法可以产生好的效果，但是速度不尽人意，尤其光流对齐法。本文考虑移动设备的性能限制以及后面多帧融合方法可以解决因为对齐产生的小bug，因此不采用计算复杂度高的光流等方法。而是选择简单的快速对齐算法，我们使用类似[Lewis 1995]（Video enhancement using per-pixel virtual exposures）的频域加速方法，结合精心设计，实现了这一性能。

参考帧选择：这遵循了一种被称为幸运成像的一般策略[Joshi和Cohen 2010]。为了将感知到的快门延迟最小化，我们从突发事件的前3帧中选择了参考帧。

本文采用的对齐不是计算稠密关系，而是计算参考帧和支持帧之间的偏移量，且采用分块计算，同时进行金字塔分层对齐，从粗层到细层依次迭代进行对齐。其中设计很多启发式方法。其中对于稀疏层对齐时，因为搜索范围比较大，考虑速度问题，参考2005. Video enhancement using per-pixel virtual exposures. 方法进行加速。

 

4 多帧融合

    Non-local mean：基于块寻找相似块并得到相似权重，然后计算当前块中心像素值。

    本文强度合并方法必须对对齐失败具有鲁棒性。考虑到我们的性能目标，我们开发了一种合并方法，该方法对不对齐具有鲁棒性，但是同时弱化了降噪的效果。

该方法基于在输入块上操作的成对频域时间滤波器，对偏差具有鲁棒性，它基于对输入图像的每个块（噪声大（暗部）的地方采用32*32，反之16*16）进行频域滤波器操作。参考帧的每块会与每一个支持帧的对应局部块分别进行融合。

我们的方法从频域视频去噪技术中获得灵感，该技术在匹配图像块的3D堆栈上运行。维纳滤波，这类基于频域去噪的方法对对齐问题具有鲁棒性，因为对于给定的空间频率，任何不能归因于预期噪声水平的失配（与参考帧）都会被抑制。Hand-held video deblurring via efficient fourier aggregation.这篇论文思路相似，基于多帧进行去噪和去模糊。

相比之前的频域去噪，本文有几点不同：1因为我们处理原始图像，所以我们有一个简单的模型来描述图像中的噪声，这提高了鲁棒性，让我们更可靠地区分对齐bug和噪声。我们使用一个简单的成对滤波器，而不是在时间维上应用DFT或其他正交变换。虽然这种方法牺牲了对对齐良好的图像的一些降噪，但计算成本更低，而且在对齐失败时性能下降得更优雅（对齐对得好发现去噪效果下降）。对拜耳原始图像的彩色平面分别进行滤波，将滤波后的图像重新解释为新的拜耳图像。

噪声模型和局部块近似：噪声模型，一般认为就是Ax+B A和B 为滤波和噪声，这两个依赖于镜头的模拟和数字增益设置，镜头和数值增益可以直接被我们控制。为了验证该模型的有效性，我们对不同信号电平和增益设置下的噪声变化进行了实验测量。

鲁棒的成对滤波融合方法：之前频域去噪就是直接对所以频率值取均值，这种方法对于对齐效果不好的不行，因为相当于空间域的均值。因此作者通过加入一个过滤器(权重机制)，让我们控制交替帧的贡献（要考虑对齐没有，否则直接拿来进行取均值去噪，会出现bug）。

我们的合并方法在频域内对图像块进行操作。对于给定的参考块，我们在整个busrt中组装一组对应的块，每帧一个，然后计算它们各自的2D DFT值。我们的方法与其他基于频率的去噪方法的不同之处在于我们是选择成对处理，逐个将交替帧合并到结果帧上。

首先，这种滤波器往往无法抑制强对比度特征周围的噪声，这是高对比度特征在空间DFT域中具有非稀疏表示的结果，降低了空间去噪的有效性；

其次，由于收缩函数从来没有完全拒绝排列不整齐的瓷砖，所以有时会出现轻微的重影现象，在我们的经验中，这些鬼影是微妙的，并且通常很难从运动模糊中区分出来；

最后，我们的滤波器有时会产生振铃现象，通常与频域滤波器相关联；

PS，为了更会的去噪，加了一个单帧频率去噪，另外因为是分块对齐，我们的合并方法对每个空间维度上重叠一半的局部块进行操作。通过平滑地混合重叠的局部快，我们避免了局部块边界上视觉上令人讨厌的不连续。我们使用一个改进的上升余弦窗口。