转置卷积 - 一种特殊的卷积操作

• 卷积不会增大输入的高宽，通常要么不变、要么减半
• 转置卷积则可以用来增大输入高宽

为什么称之为“转置”呢？

• 对于卷积$Y=X✭W$
  • 可以对$W$构造一个$V$，使得卷积等价于矩阵乘法$Y^{\prime }=V{X}^{\prime }$
  • 这里$Y^{\prime },X^{\prime }$是$Y,X$对应的向量版本
• 转置卷积则等价于$Y^{\prime }=V^T{X}^{\prime }$
• 如果卷积将输入从$(h,w)$变成了$(h^{\prime },w^{\prime })$
  • 同样超参数的转置卷积则从$(h^{\prime },w^{\prime })$变成$(h,w)$

转置卷积是一种卷积

• 它将输入和核进行了重新排列
• 同卷积一般是做下采用不同，它通常用作上采样
• 如果卷积将输入从$(h,w)$变成了$(h^{\prime },w^{\prime })$，同样超参数下它将$(h^{\prime },w^{\prime })$变成了$(h,w)$。

重新排列输入和核

• 当填充为0，步幅为1时
  • 将输入填充$k-1$（$k$是核窗口）
  • 将核矩阵上下、左右翻转
  • 然后做正常卷积（填充0，步幅1）

• 当填充为$p$，步幅为1时

  • 将输入填充$k-p-1$（$k$是核窗口）
  • 将矩阵上下、左右翻转
  • 然后做正常卷积（填充0、步幅1）

正常卷积，输入加padding，输出结果会变大

转置卷积，输入加padding，输出结果会变小

• 当填充为$p$，步幅为$s$时

  • 在行与列之间插入$s-1$行或列
  • 将输入填充$k-p-1$（$k$是核窗口）
  • 将核矩阵上下、左右翻转
  • 然后做正常卷积（填充0、步幅1）

形状换算：

• 输入高（宽）为$n$，核为$k$，填充$p$，步幅$s$
• 转置卷积：$n^{\prime }=sn+k-2p-s$
  • 卷积：$n^{\prime }=\lfloor (n-k-sp+2)/s\rfloor \to n\ge s{n}^{\prime }+k-2p-s$
• 如果让高宽成倍增加，那么$k=2p+s$

同反卷积的关系

• 数学上的反卷积(deconvolution)是指卷积的逆运算
  • 如果$Y=conv(X,K)$，那么$X=deconv(Y,K)$
• 反卷积很少用在深度学习中
  • 我们说的反卷积神经网络指用了转置卷积的神经网络

总结：

• 转置卷积是一种变化了输入和核的卷积，来得到上采样的目的
• 不等同于数学上的反卷积操作