AI ISP资料整理

本文主要整理端到端的ISP算法,有点类似于image2image算法,只不过前面的image是raw图。
关于image2image经典算法,这里有个简单的小汇总,算法论文太多,只照了一些比较常见的:https://blog.csdn.net/qq_38109843/article/details/115231659

1.Learn to See in the Dark

论文:https://arxiv.org/pdf/1805.01934.pdf
Github:https://github.com/cchen156/Learning-to-See-in-the-Dark
解析:https://mp.weixin.qq.com/s/919VEvennHEG3iXKkMZoQQ

论文简介:
在暗光条件下,受到低信噪比和低亮度的影响,图片的质量会受到很大的影响。此外,低曝光率的照片会出现很多噪声,而长曝光时间会让照片变得模糊、不真实。目前,很多关于去噪、去模糊、图像增强等技术的研究已被相继提出,但是在一些极端条件下,这些技术的作用就很有限了。为了发展基于学习的低亮度图像处理技术,本文提出了一种在黑暗中也能快速、清晰的成像系统,效果令人非常惊讶。此外,我们引入了一个数据集,包含有原始的低曝光率、低亮度图片,同时还有对应的长曝光率图像。利用该数据集,提出了一种端到端训练模式的全卷积网络结构,用于处理低亮度图像。该网络直接使用原始传感器数据,并替代了大量的传统图像处理流程。最终,实验结果表明这种网络结构在新数据集上能够表现出出色的性能,并在未来工作中有很大前途。
AI ISP资料整理_第1张图片
(a)为传统的图像处理流程,如白平衡、去马赛克、去噪、锐化、颜色空间转换、gamma变化等,这些一般针对特定的相机,泛化性能比较差,而且不能很好地处理极度低的PSNR(峰值信噪比)。(b)是本文中提出的结构,对于Bayer arrays把输入pack成4通道,对应的分辨率变为原来的一半;对于X-Trans arrays(图中未显示),输入为6*6的block, pack成9通道(这里不太懂这个预处理有什么特殊目的)。之后减去black level再乘上期望的放大因子,得到的图像作为网络的输入,默认使用U-Net结构,网络的输出为12通道、原图一半空间分辨率的如下,再经过sub-pixel层复原到全分辨率大小,且输出为RGB空间。
放大比率决定了模型的亮度输出,放大比率设置在外部指定并作为输入提供给模型,这类似于相机中的 ISO 设置。下图显示了不同放大比率的影响。用户可以通过设置不同的放大率来调整输出图像的亮度。在测试时间,我们的方法能够抑制盲点噪声并实现颜色转换,并在sRGB 空间网络直接处理图像,得到网络的输出。
AI ISP资料整理_第2张图片
实验结果:
AI ISP资料整理_第3张图片
存在问题:
虽然本文的结构在SID数据集上有效抑制了噪声且得到了正确的色彩变换,但还是存在一些问题,如:SID数据集比较有限,不包含人像或者动态目标,不能处理HDR色调映射;实验结果存在一些伪影;提出的框架中放大因子需要在外部选择好输入;对每一种相机的传感器要单独训练一个网络,泛化能力比较差;处理图像的速度不够快,不能实现实时图像增强,这些都需要在后续的研究中继续加以改进。

2.CycleISP: Real Image Restoration via Improved Data Synthesis

论文:https://arxiv.org/pdf/2003.07761.pdf
Github:https://github.com/swz30/CycleISP
解析:https://blog.csdn.net/matrix_space/article/details/106979946

论文简介:
通常的图像去噪算法都是基于添加AWGN合成的数据集进行研究和评估;CNN网路通常在这些合成的数据集上取得了较好的效果,而在实际场景却表现一般,主要由于AWGN不足以对真正的相机噪声进行建模,真正的相机噪声是依赖于信号,并经过相机成像通道进行严格的转换,文提出了一个网络可以对相机成像通道进行前向和反向建模。
谷歌2019年论文Unprocessing Images for Learned Raw Denoising,是关于如何构造逼近真实的数据来进行降噪的,研究者们主要是模拟了 ISP 中从 RAW 图到 sRGB 的过程,然后将 ISP 的过程逆转过来,从 sRGB 到 RAW,然后再在 RAW 域上添加噪声,从而构造出符合真实场景的噪声数据。Cycle ISP直接用网络进行了端到端的模拟,不过与一般的端到端方式不同的是,这篇文章采样了一个循环的方式,从 sRGB 到 RAW 图,然后再从 RAW 图回到 sRGB, 所以这个框架称为 Cycle ISP。
AI ISP资料整理_第4张图片
AI ISP资料整理_第5张图片
RGB2RAW分支完成RGB图像到RAW图像的转换,先使用M0卷积进行特征提取,通过n个RRG网络提取深度特征,RRG网络包含P个DAB网络,DAB网路采用通道注意力机制(CA)和空间注意力机制(SA)实现抑制不重要的信息,让重要的信息通过;然后使用M1生成H×W×3的图像;最后使用Bayer sampling function生成RAW格式图像。
RAW2RGB分支完成RAW图像到RGB图像的转换,以RAW原图为输入,大小为H×W×1,将RAW图像的2×2区域映射到4通道RGGB中,大小变为H/2×W/2×4;经过M2卷积操作进行特征提取;再经过k-1个RRG模块生成特征图;引入color attention unit和颜色矫正矩阵CCM进行颜色调整,其中CCM为一个单独的网络;最后经过1个RRG模块、M5卷积和Mup上采样输出。
AI ISP资料整理_第6张图片
RGB2RAW和RAW2RGB可以联合训练,即CycleISP,一旦 CycleISP 训练好,那么 CycleISP 可以很方便地构造训练数据对,并且可以同时构造 RAW 域数据或者 RGB 数据。输入一张 RGB 图,由RGB2RAW分支,可以得到一张RAW图,然后对该RAW图添加噪声,这样可以得到RAW_clean和RAW_noisy数据对;同样,根据添加噪声的RAW图,由RAW2RGB分支,可以得到添加噪声的RGB,这样就构成了sRGB_clean和sRGB_noisy数据对。
RAW2RGB可以看做是ISP的pipeline,而上面的数据对可以用来训练去噪网络模型。

3.Replacing Mobile Camera ISP with a Single Deep Learning Model

论文:https://arxiv.org/pdf/2002.05509.pdf
Github:https://github.com/aiff22/PyNET-PyTorch
项目地址:http://people.ee.ethz.ch/~ihnatova/pynet.html

解析:https://zhuanlan.zhihu.com/p/107840206

论文简介:
作者提出一种新颖的金字塔CNN架构(PyNet)用于细粒度图像复原,它可以隐含的完成所有ISP过程(比如图像去马赛克、图像去噪、白平衡、颜色与对比度矫正、对摩尔纹等)。该模型可以直接将传感器采集的RAW数据转为到RGB空间,效果媲美高端数码相机,同时不依赖于手机ISP信息。
为验证所提方法在真实数据上的有效性,作者收集了1W全分辨率RAW-RGB图像对(采用华为P20相机采集,以及佳能5D单反)。实验表明:所提方法可以轻易达到P20的ISP处理效果。
上图给出了作者所设计的金字塔CNN架构PyNet,它包含5个尺度的特征。在训练过程中,作者采用逐级训练方式,先训练最底层,然后训练次一层级特征,直到期望分辨率输出为止,合计训练6次。
不同于其他已有方法采用特定的损失函数,该文逐级采用不同的损失函数:
Level4-5: 作者认为该部分特征主要目的在于全局颜色、亮度与对比度矫正,所以选用了MSE损失;
Level2-3: 作者认为该部分特征主要目的在于全局内容复原(颜色和形状信息),所以作者采用了感知损失(VGG)与MSE损失(4:1);
Level1: 作者认为该尺度为原始图像尺度空间,主要用于局部图像矫正(纹理增强、噪声移除、局部颜色处理等),因此采用了SSIM、感知损失以及MSE损失(0.75:1:0.05)。
AI ISP资料整理_第7张图片
实验效果:
相比其他image2image网络架构,所提架构的处理效果如何?如下图所示,作者所设计的网络结构具有更好的视觉效果。
AI ISP资料整理_第8张图片
相比P20内置ISP,所提方案成像质量如何。如下图所示,作者所提方案具有媲美内置ISP的视觉效果。
AI ISP资料整理_第9张图片
所提方案能否泛化到其他手机传感器?如下图所示,作者所设计方案可以泛化到黑莓K1手机且具有良好的视觉效果,如果在K1数据上进行训练应当可以得到更好的效果。
AI ISP资料整理_第10张图片

该文主要贡献包含以下几点:
1.一个端端到的用于解决RAW2RGB的深度学习解决方案;
2.一种新颖的金字塔CNN架构用于全局与局部图像复原任务;
3.一个包含1W数量的RAW-RGB数据集;
4.充分而完备的实验对比分析。
尽管该文取得极好的处理效果,但从实际应用来看,用深度学习替代手机ISP还是不太可行,归根结底还是手机芯片的算力约束。GPU都需要3.8s,而手机拍照需要实时或接近实时,超过1s无疑是无法满足实际应用需求的。

4.AIM 2020 Challenge on Learned Image Signal Processing Pipeline

挑战赛综述:https://arxiv.org/pdf/2011.04994.pdf
后面有些论文是这个挑战赛里面的,论文太多,不过大概思路差不多。

5.AWNet:Attentive Wavelet Network for Image ISP

论文:https://arxiv.org/pdf/2008.09228.pdf
Github:https://github.com/Charlie0215/AWNet-Attentive-Wavelet-Network-for-Image-ISP
解析:

6.

论文:
Github:https://github.com/ZZL-1998/MW-ISPNet
解析:

7.PyNet-CA: Enhanced PyNet with Channel Attention for Mobile ISP

论文:https://link.springer.com/chapter/10.1007/978-3-030-67070-2_12
Github:https://github.com/egyptdj/skyb-aim2020-public
解析:

8.Pseudo-ISP: Learning Pseudo In-camera Signal Processing Pipeline from A Color Image Denoiser

论文:https://arxiv.org/pdf/2103.10234v1.pdf
Github:https://github.com/happycaoyue/Pseudo-ISP
解析:

9.HighEr-Resolution Network for Image Demosaicing and Enhancing

论文:https://arxiv.org/pdf/1911.08098.pdf
Github:https://github.com/MKFMIKU/RAW2RGBNet
解析:

你可能感兴趣的:(AI,ISP,深度学习,自动驾驶,pytorch)