反卷积网络的棋盘格现象

https://distill.pub/2016/deconv-checkerboard/

1 现象

• 通过神经网络生成的图片，放大了看会有棋盘格的现象

2 分析

• 混叠现象造成的，反卷积时，到stride和ksize 不能整除时，就会有这种现象，二维图像的时候更显著。
• 神经网络虽然能学习，可以抵消一部分现象，但是会造成这个模型不鲁棒。
• 常见的有三种方法上采样，反卷积，nn插值，双线性插值。
• 替换GAN网络里面的deconv，用resize方法代替，artifacts消失。
• max pooling也会造成这种现象。
• GAN的生成器和判别器都会受这种情况的影像。
• 类似的，卷积操作也可能出现这种情况。
• 声音等高频信号在利用nn的过程中可能也会受到这个的干扰。