【论文阅读】Multi-view Self-supervised Disentanglement for General Image Denoising

摘要

论文:https://chqwer2.github.io/MeD/
现有方法的问题：不可避免地对不可见或者真实和一般的噪声进行泛化。这些模型的设计是为了学习从噪声图片到干净图片的映射。
我们方法的目标：我们目标是学习解耦噪声图像。
直觉假设：同一干净图像的不同的损坏版本共享一个共同的潜在空间。
方法:输入两个不同损坏的图片，MeD方法学习区将潜在的干净特征从损坏的特征中分离出来，恢复干净图像。
效果：在合成和真实噪声上大量实验分析，表明了所提方法相对于先验自监督方法的优越性，特别是对于看不见的新型的噪声类型，优于有监督方法3dB以上。

贡献

1. 提出了一个新的问题模型，以解决仅使用含噪样本的图像去噪的不适应性问题，与先前方法不同。（先前方法学习映射，不同噪声处理不同。）
2. 我们引入了一个解耦的表示学习框架，通过利用同一场景不同视角的相干性，分类潜在空间中的噪声和场景。
3. 大量实验验证其有效性。其性能优于现有的方法，对未知噪声分布具有更强的鲁棒性，甚至优于有监督的同类方法。

方法

上图表示了提出的MeD的主要步骤，该方法首先编码生成场景特征(立方体)和失真特征(长方体)，颜色表示图像来源。在右边部分，特征被重新排列并用于四个前向路径。从上到下分别是噪声( ${\eta }_1^k$)，场景( ($x_2^k$ )，输入图像( $y_2^k$ )和共享场景($x^k$ )的重建。 $y_2^k$是利用从$y_1^k$生成的$z_x^{k,1}$和从$y_2^k$生成的$u_{\eta }^{k,2}$重构得到的，用于特征解耦。此外$x^k$的重建依赖于混合场景特征，以便于学习不变的潜在场景。与这个对称的，就是（ η2， x1，y1 )的重建路径没有在图上描绘，他们与所给的重建路径只是下标不同。

结论

提出了一个新的自监督学习方法MeD在约束特征空间中解耦场景和噪声特征来进行图像去噪。方法在真实和合成的噪声场景中都表现出出色的去噪性能。我们的方法具有很好的泛化能力，只需要有噪声的图像进行训练，并且在没有任何干净的地面真值数据的情况下有效地去除现实世界的噪声。这为在不需要昂贵的标注数据的情况下训练深度模型开辟了新的可能性。我们的模型可以很容易地适应其他低级的图像复原任务。我们希望这可以为未来图像解缠的研究以及扩展到其他图像处理任务提供一个新的基线。