【paper吐槽】【SelfSupervised Learning】Self-Supervised Image Restoration with Blurry and Noisy Pairs

• 论文链接：Arxiv
• 期刊/会议：NeurIPS 2022
• 是否有code: Code

关键词

自监督学习, 图像恢复，paper吐槽

为什么要吐槽这篇文章？

我不装了，我摊牌了，我承认我读完这篇paper我酸到破防 。“这么一般的文章，也能中NeurIPS！？"。因此我要吐槽(黑)它！

文章简介

    这是篇卖“方法”的文章。因为是要吐槽他，所以不会讲太细，说说我理解的创新点吧：

• 核心创新点：感觉就是套了SelfSupervised的壳，然后搞了些"微创新"涨了点，然后在包装一下，上一下高度（上的还不够高，讲的故事也不够有吸引力）：
  • Theoretical Novelty：通过简单的公式推导证明了对于deblur任务来说，GT是用noisy图片还是clean图片，在使用L2损失的情况下，效果是接近的；
  • Technical Novelty：提出了一个auxiliary-loss，用来辅助降噪任务的训练（其实核心提升也非常小，AblationStudy中指出对于降噪任务只涨了0.09 dB，虽说降噪领域很卷，但是这么点提升也太小了，不禁让人对于这篇文章的”匠气“产生联想…）
    

吐槽

• 吐槽点1：提出的自监督方法迁移能力太差：被只使用合成数据训练出来的监督类方法完爆，那为什么还要用自监督方法呢？
  作者使用的数据集(只说RawRGB)有合成数据和真实数据。监督类方法是在合成数据上用监督训练得到的。当在真实数据上测试时，作者将真实数据划分为了训练集和测试集。监督类方法直接在测试集上测，而自监督方法会在训练集上先fintune一些，然后再在测试集上测试（已经有点不公平了），但是效果依然被完爆。。。（SupervisedIR优于所有自监督类方法,包括作者提出的SelfIR….）。这里需要注意一点，监督类方法是在合成数据上训练出来的，并不依赖clean-noisy数据对（往往很难获取，也是自监督方法存在的意义），个人认为这点无疑削弱了此类自监督方法的说服力；
  
• 吐槽点2：AblationStudy做的有点简陋：
  我简单扫了一眼，有两点我觉得问题很大
  • 作者提出了一种方法，先找到长曝光blur图像中的sharp区域，然后用这些区域去supervise带噪图片降噪。其中重点就在于如何去定义sharp区域，作者构建了一个看起来很promising的方法，但是后文中完全没有关于这一点的实验支撑和分析，连可视化都没有。。。。
  • 作者理论创新点在推导过程中有一个很重要的假设，就是损失函数用L2损失。实验中，作者做了L2损失情况下，用clean和noisy图像作为GT，训练Self的效果，最终结论是很接近。但是I mage Restoration领域最常用的损失函数难道不是L1损失吗？为什么不与L1损失对比一下呢？至少得与L1情况下用clean作为GT的情况进行对比吧。

参考文献

本文基本均为原创

保命条款

如果有对这篇文章偏爱的朋友看到了这篇吐槽，觉得不够中肯或者有巨大疏漏之处，请评论回复我，只要言之有理，我会根据情况选择修改or删除该文章。