Real Image Restoration via Improved Data Synthesis阅读笔记

图片的两种格式的区别

RGB

RAW

概述

通常的图像去噪算法都是基于添加AWGN合成的数据集进行研究和评估;CNN网路通常在这些合成的数据集上取得了较好的效果,而在实际场景却表现一般,主要由于AWGN不足以对真正的相机噪声进行建模,

真正的相机噪声是依赖于信号,并经过相机成像通道进行严格的转换(因此,图像噪声跟相机的参数十分相关);

论文提出了一个网络可以对相机成像通道进行前向和反向建模

简介

高级视觉任务(图像分类、物体检测、语义分割)由于CNN网络已经取得了巨大的进步,主要得益于巨大的数据集,而对于低级视觉任务(图像去躁、超分辨重构、去模糊)获取数据集相当困难,对于单图像去噪目前主要是通过在原图上添加AWGN噪声来构造数据集,由于无法模拟真实场景的噪声,导致在构造数据集上表现较好的模型,在实际中表现一般;

在RGB空间构建噪声相对于RAW空间更难

论文提出一种数据集合成方法,可以在RGB和RAW两个空间中生成真实的图像噪声,

论文提出一种模型CycleISP可以将RGB图像转变为RAW图像,并可以逆向将RAW图像转变为RGB图像

CycleISP实现方法

Real Image Restoration via Improved Data Synthesis阅读笔记_第1张图片

网络训练过程:分别训练RGB2RAW和RAW2RGB两个网络,然后进行联合训练

RGB2RAW分支

数码相机采用一系列操作将RAW图像转变为RGB图像,RGB2RAW网络的目的是对相机通道逆向建模,

实现步骤:

1.使用M0——卷积操作进行特征提取:

2.通过n个RRG网络提取深度特征:

RRG——Recursive Residual Group

Real Image Restoration via Improved Data Synthesis阅读笔记_第2张图片

RRG网络包含P个DAB网络;

DAB网路抑制不重要的信息,让重要的信息通过;

采用通道注意力机制(CA)和空间注意力机制(SA)实现

 

CA:学习通道间的依赖关系;squeeze operation(global average pooling,变换后形状1*1*C)+excitation operation(2个卷积层,并使用sigmoid作为激活函数)+对输入特征图U使用s进行变换

SA:学习特征图的空间依赖关系;采用(global average pooling和max average pooling)生成一个空间描述特征图H*W*2+卷积、sigmoid生成空间注意力特征图

3.使用M1——卷积操作生成大小为H*W*3的图像:

  • 生成3通道的图像的优点:保留尽可能多的原始图像的信息;
  • 有助于更快、更精确的学习特征图

4.使用Bayer sampling function生成RAW格式图像:

5.网络优化

采用L1正则化和log函数计算损失(log函数相当于对图像的像素进行归一化化,避免高亮度区域像素给网络带来的影响)

Real Image Restoration via Improved Data Synthesis阅读笔记_第3张图片

RAW2RGB

首先,我们先了解如何根据清晰的RAW图像生成清晰的RGB图像

实现步骤:

分为三步:生成RAW到RGB对应的特征图(对应步骤1-4),进行特征空间校正,生成最终的RGB图

1.以RAW相机原图作为输入,H*W*1

2.将RAW图像的2*2区域映射到4通道RGGB中,尺寸变为H/2*W/2*4

3.通过M2——卷积操作

4.K-1个RRG模块生成特征图

5.color attention unit

对于所有的类型的相机,使用一个CNN网络精确的实现RAW到RGB的映射十分困难,论文提出使用color attention unit,通过颜色校正分支提供精确

高斯模糊(确保仅有颜色信息进入该通道)+M3卷积层+2个RRG+M4门控机制+sigmoid激活函数

6.  1个RRG网络+M5卷积操作+Mup上采样

7.通过L1正则化进行模型训练

两个网络的联合训练

噪音的生成

生成RAW噪声图:通过RGB2RAW生成干净的RAW格式的图片,然后通过噪音模块添加噪音

生成RGB噪声图:将合成的RAW噪音作为输入通过RAW2RGB网络生成RGB带噪声的图像

图像去燥

Real Image Restoration via Improved Data Synthesis阅读笔记_第4张图片

 

 

 

 

你可能感兴趣的:(论文笔记)