Real Image Restoration via Improved Data Synthesis阅读笔记
图片的两种格式的区别
RGB
RAW
概述
通常的图像去噪算法都是基于添加AWGN合成的数据集进行研究和评估；CNN网路通常在这些合成的数据集上取得了较好的效果，而在实际场景却表现一般，主要由于AWGN不足以对真正的相机噪声进行建模，
真正的相机噪声是依赖于信号，并经过相机成像通道进行严格的转换（因此，图像噪声跟相机的参数十分相关）；
论文提出了一个网络可以对相机成像通道进行前向和反向建模
简介
高级视觉任务（图像分类、物体检测、语义分割）由于CNN网络已经取得了巨大的进步，主要得益于巨大的数据集，而对于低级视觉任务（图像去躁、超分辨重构、去模糊）获取数据集相当困难，对于单图像去噪目前主要是通过在原图上添加AWGN噪声来构造数据集，由于无法模拟真实场景的噪声，导致在构造数据集上表现较好的模型，在实际中表现一般；
在RGB空间构建噪声相对于RAW空间更难
论文提出一种数据集合成方法，可以在RGB和RAW两个空间中生成真实的图像噪声，
论文提出一种模型CycleISP可以将RGB图像转变为RAW图像，并可以逆向将RAW图像转变为RGB图像
CycleISP实现方法
网络训练过程：分别训练RGB2RAW和RAW2RGB两个网络，然后进行联合训练
RGB2RAW分支
数码相机采用一系列操作将RAW图像转变为RGB图像，RGB2RAW网络的目的是对相机通道逆向建模，
实现步骤：
1.使用M0——卷积操作进行特征提取：
2.通过n个RRG网络提取深度特征：
RRG——Recursive Residual Group
 |
RRG网络包含P个DAB网络； DAB网路抑制不重要的信息，让重要的信息通过； 采用通道注意力机制（CA）和空间注意力机制（SA）实现 |
CA:学习通道间的依赖关系；squeeze operation(global average pooling，变换后形状1*1*C)+excitation operation(2个卷积层，并使用sigmoid作为激活函数)+对输入特征图U使用s进行变换
SA:学习特征图的空间依赖关系；采用（global average pooling和max average pooling）生成一个空间描述特征图H*W*2+卷积、sigmoid生成空间注意力特征图
3.使用M1——卷积操作生成大小为H*W*3的图像：
- 生成3通道的图像的优点：保留尽可能多的原始图像的信息；
- 有助于更快、更精确的学习特征图
4.使用Bayer sampling function生成RAW格式图像：
5.网络优化
采用L1正则化和log函数计算损失（log函数相当于对图像的像素进行归一化化，避免高亮度区域像素给网络带来的影响）
RAW2RGB
首先，我们先了解如何根据清晰的RAW图像生成清晰的RGB图像
实现步骤：
分为三步：生成RAW到RGB对应的特征图（对应步骤1-4），进行特征空间校正，生成最终的RGB图
1.以RAW相机原图作为输入，H*W*1
2.将RAW图像的2*2区域映射到4通道RGGB中,尺寸变为H/2*W/2*4
3.通过M2——卷积操作
4.K-1个RRG模块生成特征图
5.color attention unit
对于所有的类型的相机，使用一个CNN网络精确的实现RAW到RGB的映射十分困难，论文提出使用color attention unit，通过颜色校正分支提供精确
高斯模糊（确保仅有颜色信息进入该通道）+M3卷积层+2个RRG+M4门控机制+sigmoid激活函数
6. 1个RRG网络+M5卷积操作+Mup上采样
7.通过L1正则化进行模型训练
两个网络的联合训练
噪音的生成
生成RAW噪声图：通过RGB2RAW生成干净的RAW格式的图片，然后通过噪音模块添加噪音
生成RGB噪声图：将合成的RAW噪音作为输入通过RAW2RGB网络生成RGB带噪声的图像
图像去燥
