深度网络中的上采样总结

一、上采样概述

在深度学习中，上采样是一种使图像分辨率变高的方法/技术。
目前有以下几种基本的上采样方法：
1. UpSample + Conv 1X1
2. ConvTransposed
3. Conv + PixelShuffle
下文对每种方法进行详细介绍。

二、UpSample + Conv 1x1

先使用upsample进行简单插值（最近邻、线性、双线性或三次线性），由于upSample中没有课学习的参数，再追加步长为1的卷积层，方便网络学习。

upsample函数如下：

torch.nn.Upsample(size=None, scale_factor=None, mode='nearest', align_corners=None)
# size:要输出的尺寸，数据类型为tuple： ([optional D_out], [optional H_out], W_out)
# scale_factor:在高度、宽度和深度上面的放大倍数。数据类型既可以是int——表明高度、宽度、深度都扩大同# 一倍数；亦或是tuple——指定高度、宽度、深度的扩大倍数。
# mode:上采样的方法，包括最近邻（nearest），线性插值（linear），双线性插值（bilinear），三次线性插值（trilinear），默认是最近邻（nearest）。
# align_corners:如果设为True，输入图像和输出图像角点的像素将会被对齐（aligned），这只在mode = linear, bilinear, or trilinear才有效，默认为False。

三、ConvTransposed

ConvTransposed的用法比较常见，但是原理接触较少。
原理见“月下花弄影”的博客，链接：点击此处

四、conv + pixelshuffle

先用卷积将通道数扩大r²倍，然后用PixelShuffle，将r²个通道的特征图相互插入使得尺寸扩大r倍。
示意图如下：

五、转置卷积的棋盘效应

使用转置卷积时，可能会出现如下图所示的棋盘效应：

避免方法：
1.kernelsize为stride的倍数，例如4&2。
1.使用upsample + conv 1x1进行上采样。

参考链接
https://blog.csdn.net/g11d111/article/details/82855946
https://blog.51cto.com/AIXhao/2761868
https://blog.csdn.net/qq_27261889/article/details/86304061