图像去噪数据集

Introduction

目前效果出色的深度去噪方法大都采用监督学习的方法，需要采集输入-输出图像对（noisy/noise-free images pairs）建立训练数据集。数据集的建立是关键的任务。数据集的质量将直接决定去噪结果的质量。如何获取尽量多场景的图像数据，如何获得高质量的参考图像（ground truth），是目前研究的热点。

The State of Arts

Method

目前去噪数据集的建立主要分为以下三种方式：

1. 从现有图像数据库获取高质量图像，然后做图像处理（如线性变化、亮度调整）并根据噪声模型添加人工合成噪声，生成噪声图像；
2. 针对同一场景，拍摄低ISO图像作为ground truth，高ISO图像作为噪声图像，并调整曝光时间等相机参数使得两张图像亮度一致；
3. 对同一场景连续拍摄多张图像，然后做图像处理（如图像配准、异常图像剔除等），然后加权平均合成ground truth；
   这几种方法各有利弊：
   第一种方法比较简单省时，高质量图像可以直接从网上获取，但由于噪声是人工合成的，其与真实噪声图像有一定差异，使得在该数据集上训练的网络在真实噪声图像上的去噪效果受限；
   第二种方法只使用单张低ISO图像作为ground truth，难免会残留噪声，且与噪声图像可能存在亮度差异和不对齐的问题；
   第三种方法需要拍摄大量图像，工作量比较大，且需要对图像进行严格对准，但一般得到的ground truth质量比较高；
   在实际应用中，这三种方法都有被采用，并相互结合。一般在网络训练初期，会采用第一种合成噪声图像的方法，快速获得数据集对网络进行训练。如DnCNN，burst kernel predict network等都采用了这种方式。而为了应用于真实环境中，现在越来越多的方法采用真实噪声图像进行网络训练。
   但是，有一个值得考虑的问题是，为了提高去噪网络的鲁棒性和泛化能力，常常需要将输入噪声图像的噪声水平估计也作为网络输入。而真实噪声图像的噪声水平估计往往存在一定误差，从这一方面考虑，合成噪声图像由于噪声模型已知，所以其噪声水平估计是准确的，有利于网络的在不同噪声水平上的泛化。CBDNet就考虑将真实噪声图像和合成噪声图像一起作为训练集，交替对网络进行训练以提升网络的性能。

Datasets

下面简单总结一下现有的真实噪声图像数据集（即第二和第三种方法建立的数据集）。
其中数据集数量以不同的场景与拍摄设备计算（即对同一场景用同一设备在同一参数下连续拍摄多张以一张计算）。

名称	年份	类型	数量	链接地址
RENOIR	2014	第二种（Low/high-ISO images pair）	120张	project
Nam	2016	第三种（multi-images mean）	15张	project
DND	2017	第二种（Low/high-ISO images pair）	50张	project
PolyU	2018	第三种（multi-images mean）	40张	github
SIDD	2018	第三种（multi-images mean）	200张	project

具体情况如下：
RENOIR
参考论文：RENOIR - A Dataset for Real Low-Light Image Noise Reduction
拍摄了120个暗光场景，包含室内和室外场景。每个场景约4张图像，包含2张有噪声图像和两张低噪图像。

Nam
参考论文：A Holistic Approach to Cross-Channel Image Noise Modeling and its Application to Image Denoising
仅包含11个场景，且多是相似物体和纹理。针对这11个场景共拍摄了500张JPEG图像。


DND
参考论文：Benchmarking Denoising Algorithms with Real Photographs
拍摄50个场景，包括室内和室外场景。

PolyU
参考论文：Real-world Noisy Image Denoising: A New Benchmark
拍摄了40个场景，包括室内正常光照场景和暗光场景，室外正常光照场景。对每个场景连续拍摄了500次。

SIDD
参考论文：A High-Quality Denoising Dataset for Smartphone Cameras
用5个相机（Google Pixel、iPhone 7、Samsung Galaxy S6 Edge、Motorola Nexus 6、LG G4）在四种相机参数下拍摄了10个场景，200个场景实例，每个场景连续拍摄了150张图像。其中160个场景实例作为训练集，40个场景实例作为测试集（the benchmark）。
具体数据集参数可参考项目主页。

Conclusion

目前来说深度去噪数据集的建立，仍然有许多问题解决，其主要集中在几个方面：

1. 多场景、多设备图像的获取；
2. 高质量ground truth的获取；
3. 更加符合真实噪声分布的噪声模型的建立；
4. 更加准确的噪声水平估计方法；
   想要建立适用于广泛场景和噪声水平的深度去噪网络还是非常困难，针对于特定应用场景（暗光室内场景等）的噪声建模和去噪网络还是值得做进一步深入研究的。