无监督去噪——[TMI2022]ISCL: Interdependent Self-Cooperative Learning for Unpaired Image Denoising

知乎同名账号同步发布

这是一个unpaired的方法，也就是有很多noisy images，有很多clean images，但一对noisy-clean images内容上不是配对的。

前置知识

需要了解CycleGAN的知识，可以去b站看李宏毅的课，CycleGAN那一讲只有20分钟，讲的非常清楚。

模型架构

假设你已经懂了CycleGAN的原理，那么就可以去注意ISCL的核心词汇：self-cooperative。模型架构如下：

上图中的F和G是CycleGAN原本就有的generator，H是提取噪声的网络，是作者新加入的东西。x代表noisy image，y代表clean image，n代表noise。

四条红色的线，上面两条是cycle consistency，是CycleGAN原本就有的东西，下面两条则叫bypass consistency。bypass consistency就是本工作最重要的创新点，之后会通过数据来认识到它的重要性。

除此之外，还有些别的细节：

上面左图右下角的$D_y$和有图右下角的$D_x$，是和新加入的神经网络H相关的discriminator，由此带来的loss，作者称其为boosting loss。

上面则是伪噪声标签，意义自明。

具体使用的网络如下，简单看看即可：

由于F和H都能提供去噪结果，所以它俩要结合使用：

以上就是模型架构的描述，还是比较简单的，公式就不复制粘贴了。

实验

• LDCT(Mayo)

主要亮点在于下表：

上表中的(A)表示原始的CycleGAN，(A)~(E)表示逐步加了一堆东西后的作者的模型。可以看出，在加了©之后，数据出现了明显的断层，而©表示bypass consistency，这也证明了它确实是本工作最重要的创新点。

效果：

• Synthetic noisy EM denoising

效果：

• Real noisy EM denoising

效果：

小结

题目中有self-cooperative，其实就是CycleGAN的generator F和作者新加入的ResNet H相互合作，从而能够提升效果。