在目前超分辨率的论文中不使用MSE,而使用L1或者Perceptual loss的原因是什么?

L2损失的一些缺点:

  1. L2损失对大的error有强的惩罚,对小的error的惩罚低,忽略了图像内容本身的影响。实际上人眼视觉系统(HVS)对图像中的无纹理区域的亮度和颜色变化更敏感。而目前使用的感知域损失,即Perceptual loss,个人认为在得到感知域内容的过程中,对图像的内容进行了一次提炼,因此在感知域空间中计算损失相当于结合图像内容的损失,会使得复原后的图像视觉效果上更好。
  2. L2损失的收敛性能比L1要差。理论上说,L2损失是刷高PSNR指标的理想损失函数,但是具体在应用的时候,复原的性能还是要取决于损失函数的收敛性能。文章对L2损失和L1损失进行了比较,在训练中交换损失函数,查看收敛情况,得出了收敛性能的对比图:
    在目前超分辨率的论文中不使用MSE,而使用L1或者Perceptual loss的原因是什么?_第1张图片
    可以看到L1损失函数的收敛性能是优于L2损失函数的。

此外,文章也对不同的损失函数指导的模型的测试性能进行了对比,在超分辨率下:
在目前超分辨率的论文中不使用MSE,而使用L1或者Perceptual loss的原因是什么?_第2张图片
MSE,是图像空间的内容“相似”,而在图像上普遍存在区域,其属于某个类别(老虎皮,草,渔网等),如果出现纹理或者网格,那么优化MSE很容易将这个区域磨平,即平滑。【直接对应评价指标MSE和MAE,以及PSNR,但是PSNR高不见得好,图像可能不自然。见文献2的图:PSNR/SSIM与感知质量(视觉效果)的一致性
在目前超分辨率的论文中不使用MSE,而使用L1或者Perceptual loss的原因是什么?_第3张图片
L1,可忍受异常值,相较于MSE和L2是没有那么平滑一些的。Perceptual loss,是特征空间的类别/纹理“相似”。毕竟有学者认为深度卷积网络用于图像分类,利用的是物体的纹理差异。多尺度(MS)-SSIM,那就是图像空间的结构“相似”。在文献[1]中,就找到了MS-SSIM+L1的混合损失适合于图像复原。图像SR问题有两个主要方向,见文献[2]的图。其一为了实现更好的图像重建效果,即灰度/RGB复原;其二为了实现更好的视觉质量,即看起来“自然”。

[1] Loss Functions for Image Restoration with Neural Networks IEEE TCI 2017
[2] 2018 PIRM Challenge on Perceptual Image Super-resolution [[paper]]

你可能感兴趣的:(SR,杂七杂八)