上采样的几种方法

在做图像语义分割的时候,编码器通过卷积层得到图像的一些特征,但是解码器需要该特征还原到原图像的尺寸大小,才可以对原图像的每个像素点进行分类。从一个较小尺寸的矩阵进行变换,得到较大尺寸的矩阵,在这个过程就是上采样。

常见的上采样的方法有(1)插值法(最邻近插值、双线性插值等) (2)转置卷积(又称为反卷积) (3)上采样(unsampling)(4)上池化(unpooling)

插值法

插值法不需要学习任何的参数,只是根据已知的像素点对未知的点进行预测估计,从而可以扩大图像的尺寸,达到上采样的效果。常见的插值方法可以参考这篇文章:https://blog.csdn.net/stf1065716904/article/details/78450997

转置卷积

与插值法不同,转置卷积需要学习一些参数。我们知道卷积操作如果不加padding会使图像尺寸缩小;相反地,转置卷积(反卷积)会让图像的尺寸增大。这篇文章介绍转置卷积非常详细:https://blog.csdn.net/LoseInVain/article/details/81098502

这里对该文章做一下简单的概括。假如我们对一个 4 ∗ 4 4*4 44 的原图像矩阵,用 3 ∗ 3 3*3 33 的卷积核做 stride为1、padding为 0 的卷积,则会得到一个 2 ∗ 2 2*2 22 的特征图矩阵。该卷积的过程可以等价为矩阵的乘法:在上述卷积中, 3 ∗ 3 3*3 33 的卷积核可以转化为 4 ∗ 16 4*16 416 的卷积矩阵, 4 ∗ 4 4*4 44 的原图像转化为 16 ∗ 1 16*1 161 的向量,两者进行矩阵乘法可得到 4 ∗ 1 4*1 41 的向量,最后resize为 2 ∗ 2 2*2 22 的特征图矩阵。

所以重点来了,拥有一个 4 ∗ 16 4*16 416 的卷积矩阵,可将 4 ∗ 4 4*4 44 的图像变为 2 ∗ 2 2*2 22;那么,如果拥有一个 16 ∗ 4 16*4 164 的矩阵,可将 2 ∗ 2 2*2 22 的矩阵变为 4 ∗ 4 4*4 44

假如现在的图像尺寸是 2 ∗ 2 2*2 22,要将其恢复到 4 ∗ 4 4*4 44。首先将其转化为 4 ∗ 1 4*1 41,再与卷积矩阵的转置矩阵 16 ∗ 4 16*4 164做乘法,可以得到 16 ∗ 1 16*1 161 的向量,最后resize为 4 ∗ 4 4*4 44 的图像矩阵。

转置卷积的矩阵并不是正向卷积矩阵直接转置得到,而只是维度上与正向卷积矩阵构成了转置关系。转置卷积也不是标准意义上的卷积,但可以当作卷积来使用。在实践中,可以先将原始矩阵做上池化(即在中间部分填0),再做正向卷积,这样的效果和转置卷积是相同的。

unsampling

上采样的几种方法_第1张图片

unsampling 就是在直接将特征图的元素进行复制,以扩充feature map

unpooling

上采样的几种方法_第2张图片

unpooling 与 unsampling 类似,只是变为用 0 元素对特征图进行填充

你可能感兴趣的:(机器学习)