图像降噪之Cycle ISP: Real Image Restoration via Improved Data Synthesis

1. 简介

谷歌去年发表了一篇文章：Unprocessing Images for Learned Raw Denoising，是关于如何构造逼近真实的数据来进行降噪的，在去年的文章里，研究者们主要是模拟了 ISP 中从 RAW 图到 sRGB 的过程，然后将 ISP 的过程逆转过来，从 sRGB 到 RAW，然后再在 RAW 域上添加噪声，从而构造出符合真实场景的噪声数据。

今年谷歌又发表了一篇类似的文章，还是关于如何构造真实的仿真数据来做图像恢复，看来谷歌在构造数据这块已经做了很多的研究了，今年这篇文章叫 Cycle ISP, 核心思想还是基于 ISP 流程，去年的文章是一步一步通过各种算法模块，将 ISP 中的降噪，白平衡，gamma 变换，tone mapping 等串起来，今年的这篇文章直接用网络进行了端到端的模拟，不过与一般的端到端方式不同的是，这篇文章采样了一个循环的方式，从 sRGB 到 RAW 图，然后再从 RAW 图回到 sRGB, 所以这个框架称为 Cycle ISP, 有循环轮回的感觉。

2. 网络结构

整个CycleISP框架包括四个部分：

1. RGB2RAW：将sRGB图转为RAW图；
2. RAW2RGB：将RAW图转为sRGB图；
3. Color Correction：用于辅助的颜色恢复网络，提供准确的颜色注意机制(explicit color attention)用于RAW2RGB正确地恢复RGB图；
4. Noise Injection：在训练CycleISP时设置为OFF，在需要生成噪声数据时设置为ON。

CycleISP的训练分为两步：

1. 分别单独训练RGB2RAW和RAW2RGB；
2. 将RGB2RAW和RAW2RGB一起进行joint finetune。

2.1 RGB2RAW 分支

RGB2RAW分支的目的在于要“反转/逆向”相机的ISP效果，而且优点在于这一网络不需要任何的相机参数。

这个模块，完成 RGB2RAW 的变换，给定一张 RGB 图像，${\mathbf{I}}_{rgb}\in R^{H\times W\times 3}$，先借助常规的卷积网络，得到多个 feature map，然后再利用多个 recursive residual groups (RRGs) 进一步进行特征提取，整个过程可以表示为：

$T_0=M_0(Irgb)$
$T_d=RR{G}_N(...RR{G}_1(T_0))$

后面再接一个卷积层，得到 3 个通道的 feature map，最后再做一个 Bayer 模式的采样，得到输出的 RAW 图：

$I_{raw}=f_{bayer}(M_1(T_d))$

这个模块，主要是利用$L_1$ loss 来进行训练：

${\mathbf{I}}_{raw}$ 表示 RAW 图的 ground truth。

2.2 RAW2RGB 分支

RAW2RGB 分支，实现 RAW 图到 RAG 的转换，这个分支，首先将 RAW 图拆成 RGGB 四个通道，每个通道的分辨率都下降了一倍，从 $H\times W$ 变成了$\frac{H}{2}\times \frac{W}{2}\times 4$，然后类似 RGB2RAW, 先用一个卷积层将 4 个通道变成多个 feature map，然后再经过多个 RRG 模块，得到多个等大的 feature map，整个过程如下所示：
$T_d\prime =RR{G}_{K-1}(...RR{G}_1(M_2(Pack(I_{raw}))))$
不过这里需要注意的一点是，这里的 ${\mathbf{I}}_{raw}$ 是相机原始的 RAW 图，不是 RGB2RAW 的输出，因为这两个 branch 是分开独立训练的。

2.3 颜色矫正模块

除了上面两个主要的分支，Cycle ISP 还引入了一个颜色校正模块，因为网络是基于很多不同的相机数据来训练的，而不同相机的颜色校正系数一般是不同的，所以为了统一这些数据，Cycle ISP 引入了一个颜色校正模块，这个模块是嵌入在 RAW2RGB 分支里的，color correction unit 的输入是 RGB 图像，然后经过简单的卷积以及两个 RRG，得到多个 feature map：

$T_{color}=\sigma (M_4(RR{G}_2(RR{G}_1(M_3(K\ast I_{rgb})))))$

这里* 表示卷积，K 表示高斯核，文章里用的高斯核的标准差是 12，这会带来非常强的模糊效果，从而将细节都基本去除了，只留下颜色，$T_{color}$和前面得到的$T_{d^{\prime }}$ 做一个 residual 的操作：
其中$\otimes$表示 Hadamard product。

最后再利用一个卷积层，以及一个上采用操作，得到三个通道的 RGB 图像：

$I^{rgb}=M_{up}(M_5(RR{G}_K(T_{atten})))$

这个分支也是利用$L_1$ Loss 来训练：

2.4 RRG: Recursive Residual Group

Cycle ISP 除了常规的卷积层， 一个特别之处在于其使用了很多的 RRG 模块，每个 RRG 模块包含了 P 个 dual attention blocks (DAB) 模块，DAB 模块，通过不同的 attention 机制对特征进行选择：channel attention 和 spatial attention，整个过程可以表示为：
$T_{DAB}=T_{in}+M_c([CA(U),SA(U)])$

其中， $U\in R^{H\times W\times C}$, $M_c$表示 $1\times 1$ 的卷积，具体的框架示意图如下所示：

2.5 CycleISP联合训练

最后对两部分进行联合训练，其中RGB2RAW分支可以接受到来自RAW2RGB分支loss的梯度，更加有利于最终sRGB图像的重建。

3. 合成真实噪声数据集

一旦 CycleISP 训练好，那么 CycleISP 可以很方便地构造训练数据对，并且可以同时构造 RAW 域数据或者 RGB 数据，输入一张 RGB 图，由 RGB2RAW 分支，可以得到一张 RAW 图，然后对该 RAW 图添加噪声，这样可以得到 $RA{W}_{clean}$, $RA{W}_{noisy}$ 训练数据对。

同样的，根据添加噪声的 RAW 图，由 RAW2RGB 分支，可以得到添加了噪声的 RGB 图，这样就构造了 $sRG{B}_{clean}$, $sRG{B}_{noisy}$的训练数据对。

4. 测试

最后的测试结果如下所示：

5. 最后