Deconvolution and Checkerboard Artifacts翻译

        承上文，本文根据文章的主要内容进行翻译，介绍反卷积的缺点及对应的解决方法。

        反卷积的结果中通常伴随着重叠区域的出现，并且对于两个维度的图像来说，重叠区域的不均匀性更加明显，如下图中阴影部分为重叠区域，黑色区域为不均匀的重叠效果。

上采样出现的棋盘格现象

图片来自这里

        通常上采样时，需要进行多次反卷积，这样不同尺度下的图片都会受其影响，导致最终生成的图片中颜色亮丽的地方尤为明显，因为网络的偏置导致生成的颜色较为平均。     

       那么如何避免反卷积带来的影响呢？

• 根据滤波器大小，设置合理的步长。如gan网络最后一层的步长设置为1能弱化棋盘格的影响(参考该文献)。
• 理论上可通过模型使不均匀的重叠位置变得均匀，不过操作中需要权衡一些因素，如限制了滤波器的一些可能值，牺牲了模型的性能等。实际上，模型不仅难以通过学习改变不均匀的重叠位置，还能将均匀的重叠位置变得不均匀。

        实际上，完全避免上述伪影(重叠位置)需要对滤波器进行严格的限制。尽管如此，生成的图片中还是会存在伪影。这可能也会由其他因素造成，如gan网络的判别器与其梯度，最主要的还是反卷积引起的。反卷积很脆弱，因为其很容易表示为伪影的目标函数。

        为更好的进行上采样，作者引出“转置卷积”。因为转置卷积不会默认生成伪影。其中一种使用的方法和反卷积差不多：设置滤波器大小为步长的整数倍；也可以先对图像进行插值，然后再进行卷积运算，这种和高分辨率重建的方法类似。并且作者利用最近邻插值然后卷积的方法，获得了最好的效果，解决了伪影的问题。

        最后是作者使用最近邻插值的实验结果，有如下几个结论：

• 采用插值-卷积的模式工作时，层数越多，则伪影越弱。全部采用resize-conv而不用deconv时，没有伪影信息；
• 训练前可判断伪影的不同，若随机初始化的生成器产生的图片由伪影，则表明伪影是生成图片的方式引起的，而不是gan网络训练的结果。这也意味着前期能学习一些好的生成器，而不需要等网络训练的周期；
• 另外，伪影不是GAN的特例，风格迁移也会遇到相同的问题。将deconv替换为resize-conv模式时，伪影消失；

resize-conv消除伪影的例子

不同层使用resize-conv时的结果	风格迁移是使用resize-conv消除伪影

参考文献：

1. https://distill.pub/2016/deconv-checkerboard/