快速理解反卷积

• 转置卷积、反卷积和上采样的关系，名称由来、数学解释
• 反卷积输入输出尺寸关系
• 棋盘格现象

上采样（upsample）：

在深度学习中的计算机视觉领域，由于使用卷积层对图像提取特征以后，输出图像的尺寸往往会变小，而有时我们需要得到一个和原来图像尺寸相同的输出结果以便进行下一步的计算。这个扩大图像尺寸，实现图像由小分辨率到大分辨率映射的操作，叫做上采样。

反卷积（deconvolution）：

上采样有很多种方法可以实现，最常见的3种有：双线性插值（bilinear）、反卷积（deconvolution）和反池化（unpooling）。这里的反卷积就是我们重点讨论的操作，它也可以叫做转置卷积。

注意：

反卷积并不是正向卷积的逆过程，它只是针对图像尺寸而言：正向卷积一般情况下会让图像的尺寸由大变小，而反卷积则相反，会让图像尺寸由小变大，即和原图像相同的尺寸。

正向卷积

假设输入图像$input$尺寸为$4\times 4$，元素矩阵为：
$$\left[\begin{array}{cccc}{x}_1& x_2& x_3& x_4\\ x_5& x_6& x_7& x_8\\ x_9& x_{10}& x_{11}& x_{12}\\ x_{13}& x_{14}& x_{15}& x_{16}\end{array}\right]$$
卷积核$kernel$尺寸为$3\times 3$，元素矩阵为：
$$\left[\begin{array}{ccc}{w}_{0,0}& w_{0,1}& w_{0,2}\\ w_{1,0}& w_{1,1}& w_{1,2}\\ w_{2,0}& w_{2,1}& w_{2,2}\end{array}\right]$$
设步长$strides=1$，填充$padding=0$，即$i=4,k=3,s=1,p=0$，卷积后的图像边长为$0=\frac{i+2p-k}{s}+1=2$，即输出图像$output$的尺寸为$2\times 2$.
用列向量$X$表示输入图像$input$，即：
$$input=[x_1{x}_2{x}_3\cdots x_{16}{]}^T$$
用列向量$Y$表示输出图像$output$，即：
$$output=[y_1{y}_2{y}_3{y}_4{]}^T$$
卷积过程可以向量化为：
$$Y=CX$$
其中，矩阵$C$是$4\times 16$维，经过推到，可以得到$C$是一个稀疏矩阵：
$$C=\left[\begin{array}{cccccccccccccccc}{w}_{0,0}& w_{0,1}& w_{0,2}& 0& w_{1,0}& w_{1,1}& w_{1,2}& 0& w_{2,0}& w_{2,1}& w_{2,2}& 0& 0& 0& 0& 0\\ 0& w_{0,0}& w_{0,1}& w_{0,2}& 0& w_{1,0}& w_{1,1}& w_{1,2}& 0& w_{2,0}& w_{2,1}& w_{2,2}& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& w_{0,0}& w_{0,1}& w_{0,2}& 0& w_{1,0}& w_{1,1}& w_{1,2}& 0& w_{2,0}& w_{2,1}& w_{2,2}\end{array}\right]$$

反卷积数学解释和名称由来

反卷积就是通过$Y,C$得到$X$，直观的就会想到下面的式子：
$$X=C^{-1}Y$$
但是按照数学的定义来讲：矩阵$C^{-1}$不一定存在。这里注意一点是深度学习的很多操作并不是很严密的数学推理，只是直观感受。这里同样体现了这一点：我们想得到$X$，实际上只是想要得到一个和$X$维度相同的矩阵，即$16\times 1$，已知的$Y$也是指和正向卷积的输出尺寸相同的矩阵，即$4\times 1$，矩阵具体元素是否相等我们并不要求。因此，对于矩阵$C$而言，我们不需要对它求逆，
仅就维度而言，根据矩阵乘法原理，$C^{-1}$的维度是$16\times 4$，而$C$的维度是$4\times 16$，二者互为转置，因此我们把公式里的$C^{-1}$写为$C^T$，即：
$$X=C^{T}Y$$
上式就是反卷积的向量化表示，因此反卷积也叫做转置卷积。从上面的描述中可以知道，反卷积只能恢复$X$的尺寸，不能恢复$X$的每个元素值。
反卷积是卷积的一种，$C^T$的值可以通过网络学习得到。

反卷积输入输出尺寸关系

符号假设：
$$\begin{array}{lc}& o=sizeofoutput\\ & i=sizeofinput\\ & p=padding\\ & s=strides\end{array}\}$$

$\mathbf{R}\mathbf{e}\mathbf{l}\mathbf{a}\mathbf{t}\mathbf{i}\mathbf{o}\mathbf{n}\mathbf{s}\mathbf{h}\mathbf{i}\mathbf{p}1:(\mathbf{o}+2\mathbf{p}-\mathbf{k})\%\mathbf{s}=0$

此时反卷积的输入输出尺寸关系为：
$o=s(i-1)-2p+k$

$\mathbf{R}\mathbf{e}\mathbf{l}\mathbf{a}\mathbf{t}\mathbf{i}\mathbf{o}\mathbf{n}\mathbf{s}\mathbf{h}\mathbf{i}\mathbf{p}2:(\mathbf{o}+2\mathbf{p}-\mathbf{k})\%\mathbf{s}\ne 0$

此时反卷积的输入输出尺寸关系为：
$o=s(i-1)-2p+k+(o+2p-k)\%s$

棋盘格现象

当$strides$和$kernelsize$不能整除时，会出现混叠现象，导致反卷积生成的图像会有混叠现象，二维图像的棋盘格现象更明显。因此在反卷积时需要注意参数的配置，或者直接换用上采样$+$卷积的方法。
提供一个全面解析棋盘格现象的链接：反卷积棋盘格深度解析