CycleISP: Real Image Restoration via Improved Data Synthesis

Abstract

1、提出一个模拟 ISP 处理的模型（模型是怎么构建的？）
2、在 RAW、sRGB 域都能生成图像对，都能做去噪。（它说在真是图像基准数据集上有 SOTA 效果，不会是 DND 吧）
3、参数量是之前的RAW去噪最佳方法（用的什么方法？）参数的 1/5

1、Introduction

（要长脑子了）
高层视觉问题：图像分类、目标检测、目标分割
底层视觉问题：图像去噪、超分、去模糊

本文工作是什么？

想在 raw 图上叠加噪声
raw 噪声和信号相关，去马赛克后和空间色彩相关，ISP走完噪声可能不再满足高斯分布
Unprocessing 的不足：需要目标相机设备的先验信息（CCM颜色校正矩阵、白平衡增益）——这就意味着需要一个事先调好的ISP欸！泛化性不足，不推荐使用。

看看白平衡增益的代码，这个用了什么参数

本模型厉害的是：不需要相机参数先验，实现sRGB和raw的转换

本文贡献
1、建立 CycleISP 模型，可实现 sRGB 和 RAW 的变换（听起来取代了 ISP 流程）
2、真实图像噪声合成器，可获得图像对
3、双重注意力机制CNN，在CycleISP、合成图像噪声、去噪中都有应用
4、在 DND、SIDD 数据集上 SOTA ，网络参数大大减少，只有 2.6M

2、RelatedWork

pass now

3、CycleISP

看懂网络结构设计思路（暂缓，等论文复现需要了解实现细节再看
多个 branch：RGB2RAW、RAW2RGB、RAW2RGB 中有颜色校正网络、叠加噪声模块（ON/OFF）
训练方式：RGB2RAW、RAW2RGB分开训练，然后联合微调

这是前文提到的双重注意力机制 CNN

3.1 RGB2RAW

4、Synthetic Realistic Noise Data Generation

叠加人为生成的噪声：add shot、read noise——移植了 Unprocessing 代码
如何对模型进行微调：用 SIDD 的数据，叠加真实噪声

5、Denoising Architecture

pass

6、Experiments

暂缓