HI-GAN:一种用于真实照片盲去噪的分层生成对抗网络

目录

一、相关工作

1.1、真实图像的盲去噪

1.2、RSGAN

二、方法

三、模型结构

四、实验结果​

---

一、相关工作

1.1、真实图像的盲去噪

        去噪方法可以分为两种:盲去噪和非盲去噪。一般的去噪方法主要是解决高斯噪声分布已知的非盲去噪问题。然而，现实世界的噪声是高度复杂和不可预测的，因为噪声可以有多个来源，如暗电流噪声和热噪声。最先进的dcnn，如FFDNet[47]和DnCNN[46]可以导致非盲去噪的显著改进，但无法完全消除现实世界的盲噪声。这篇文章专注于解决对真实世界的噪声图像进行盲去噪的问题。

首先介绍怎么对上述噪声建模：

        一般依赖信号的噪声观测模型可以简化为异方差高斯模型n(L)，其计算方法如下:

L是原始像素的辐照度图像，是平稳噪声分量的方差，是依赖于信号的噪声分量的空间变异噪声方差。

一个真实的噪声模型可以用以下公式表示:

其中x是噪声图像，表示摄像机响应函数。表示用于将sRGB图像转换为拜耳图像的函数。表示马赛克镶嵌函数，表示JPEG压缩功能。

1.2、RSGAN

        给定训练数据，鉴别器的输出为。其中C(x)为的输出非变换层，鉴别器的对抗损失函数为:

在训练过程中，最小化该损失函数，以增加真实样本比生成器提供的假样本更真实的可能性。同理，生成器的对抗损失函数如下:

最小化该损失以增加生成的样本比对应的真实样本更真实的概率。RSGAN的对抗性损失有助于防止GANs的不稳定性，提高生成图像的质量。

二、方法

        HI-GAN由三个生成器组成：，以及一个鉴别器：。

和一起训练。独立训练，避免鉴别器不稳定性的影响，只关注增加PSNR和SSIM值，可以获得较高的PSNR值，但也会产生过度平滑效应，导致高频细节和低对比度特征的丢失。相比之下，可以保留更多的纹理和边缘，但由于的不稳定性，其PSNR值较低，可能会产生不真实的细节和特征。为此，作者又提出了，利用和的去噪图像作为输入，生成一个合成图像。对进行训练，生成一个接近于真实干净的合成图像。

2.1、训练和

RSGAN的鉴别器和生成器损失函数如下:

其中P是真实样本的分布，Q是虚假样本的分布，C(x)为的输出非变换层。

        本文还构建了一个DenseNet网络，该网络由4个密集块组成。给定一个图像对，应用于生成器的DenseNet损失函数的适当值为:

其中。

因此，式(13)变成：

2.2、训练

损失如下：

其中是生成的去噪图像，等式右边两项和前边叙述的形式一样。

2.3、训练

        由和生成的去噪图像被拼接并作为的输入，以生成更好的去噪图像。损失如下：

其中是生成的去噪图像，等式右边两项参考前边描述的。

三、模型结构

四、实验结果

代码：https://github.com/ZeroZero19/HI-GAN.git