棋盘效应(Checkerboard Artifacts)

  • 定义:棋盘效应是由于反卷积的“不均匀重叠”(Uneven overlap)的结果。使图像中某个部位的颜色比其他部位更深:

    • 棋盘效应(Checkerboard Artifacts)_第1张图片
  • 具体原因:在反卷积操作时,如果卷积核(Kernel)大小不能被步长(Stride)整除时,反卷积输出的结果就会不均匀重叠:

    • 棋盘效应(Checkerboard Artifacts)_第2张图片
  • 在二维情况下棋盘效应更为严重,如下:

    • 棋盘效应(Checkerboard Artifacts)_第3张图片
  • 原则上,网络可以通过训练调整权重来避免这种情况。解决方法就是注意调整好卷积核(Kernel)大小与步长(Stride)的关系。

  • 不重叠(图a: kernel <= stride)与均匀重叠(图b: kernel % stride == 0)均可避免此类情况:

    • 棋盘效应(Checkerboard Artifacts)_第4张图片
  • 还可以“先进行插值Resize操作,再进行反卷积操作”来避免:

    • 棋盘效应(Checkerboard Artifacts)_第5张图片
  • 该方式在超分辨率的相关论文中比较常见。例如我们可以用常见的图形学中常用的双线性插值和近邻插值以及样条插值来进行上采样。


  • 反卷积(Deconvolution)与棋盘效应(Checkerboard Artifacts)
  • Deconvolution and Checkerboard Artifacts

你可能感兴趣的:(语义分割,深度学习,pytorch)