- 论文链接:Arxiv
- 期刊/会议:NeurIPS 2022
- 是否有code: Code
关键词
自监督学习, 图像恢复,paper吐槽
为什么要吐槽这篇文章?
我不装了,我摊牌了,我承认我读完这篇paper我酸到破防 。“这么一般的文章,也能中NeurIPS!?"。因此我要吐槽(黑)它!
文章简介
这是篇卖“方法”的文章。因为是要吐槽他,所以不会讲太细,说说我理解的创新点吧:
- 核心创新点:感觉就是套了SelfSupervised的壳,然后搞了些"微创新"涨了点,然后在包装一下,上一下高度(上的还不够高,讲的故事也不够有吸引力):
- Theoretical Novelty:通过简单的公式推导证明了对于deblur任务来说,GT是用noisy图片还是clean图片,在使用L2损失的情况下,效果是接近的;
- Technical Novelty:提出了一个auxiliary-loss,用来辅助降噪任务的训练(其实核心提升也非常小,AblationStudy中指出对于降噪任务只涨了0.09 dB,虽说降噪领域很卷,但是这么点提升也太小了,不禁让人对于这篇文章的”匠气“产生联想…)
吐槽
- 吐槽点1:提出的自监督方法迁移能力太差:被只使用合成数据训练出来的监督类方法完爆,那为什么还要用自监督方法呢?
作者使用的数据集(只说RawRGB)有合成数据和真实数据。监督类方法是在合成数据上用监督训练得到的。当在真实数据上测试时,作者将真实数据划分为了训练集和测试集。监督类方法直接在测试集上测,而自监督方法会在训练集上先fintune一些,然后再在测试集上测试(已经有点不公平了),但是效果依然被完爆。。。(SupervisedIR优于所有自监督类方法,包括作者提出的SelfIR….)。这里需要注意一点,监督类方法是在合成数据上训练出来的,并不依赖clean-noisy数据对(往往很难获取,也是自监督方法存在的意义),个人认为这点无疑削弱了此类自监督方法的说服力;
![【paper吐槽】【SelfSupervised Learning】Self-Supervised Image Restoration with Blurry and Noisy Pairs_第1张图片](http://img.e-com-net.com/image/info8/8021d9e8b44e49ccb86f459f6ba4d5f0.jpg)
- 吐槽点2:AblationStudy做的有点简陋:
我简单扫了一眼,有两点我觉得问题很大
- 作者提出了一种方法,先找到长曝光blur图像中的sharp区域,然后用这些区域去supervise带噪图片降噪。其中重点就在于如何去定义sharp区域,作者构建了一个看起来很promising的方法,但是后文中完全没有关于这一点的实验支撑和分析,连可视化都没有。。。。
- 作者理论创新点在推导过程中有一个很重要的假设,就是损失函数用L2损失。实验中,作者做了L2损失情况下,用clean和noisy图像作为GT,训练Self的效果,最终结论是很接近。但是I mage Restoration领域最常用的损失函数难道不是L1损失吗?为什么不与L1损失对比一下呢?至少得与L1情况下用clean作为GT的情况进行对比吧。
参考文献
本文基本均为原创
保命条款
如果有对这篇文章偏爱的朋友看到了这篇吐槽,觉得不够中肯或者有巨大疏漏之处,请评论回复我,只要言之有理,我会根据情况选择修改or删除该文章。