图像分割算法Unet中的上采样(反卷积)

在Unet模型当中,是先通过四个下采样提取目标特征,再通过四个上采样,然后挨个对特征当中的每一个像素点进行分类,从而达到语义分割的目的。

下采样的过程,就是很传统的卷积神经网络的卷积层,先通过Conv2D进行卷积,然后BatchNormalization进行批量正则化,然后进Relu激活函数层。其中核心算法就是卷积的过程,通过卷积核在图像上移动,得到结果。

而上采样的过程是一个反卷积的过程,在早期的语义分割任务中,网络模型涉及到上采样操作,最常见的就是通过填充0或者最近邻插值的方式来完成上采样。这种方法简单粗暴但是缺点也很明显,没有办法实现图像的还原,整个过程不可学习。

在ICCV 2015年的《Learning Deconvolution Network for Semantic Segmentation》论文中提出了可学习的反卷积网络,不再通过填充0或者最近邻插值方法来完成上采样,让整个过程变成可学习,在图像语义分割网络中实现了对上采样过程的训练。在论文中提到的反卷积,更加准确的说法应该是转置卷积。

图像分割算法Unet中的上采样(反卷积)_第1张图片

卷积的过程 

图像分割算法Unet中的上采样(反卷积)_第2张图片   

在4*4的二维矩阵D中,使用一个3*3的卷积核,得到的结果是一个2*2的矩阵,结果为

 |12     12|

 |10     17|

其运算过程为

(0,0) 12 0x3+1x3+2x2+2x0+2x0+0x1+0x3+1x1+2x2=12
(0,1) 12 0x3+1x2+2x1+2x0+2x1+0x3+0x1+1x2+2x2=12
(1,0) 10 0x0+1x0+2x1+2x3+2x1+0x2+0x2+1x0+2x0=10
(1,1) 17 0x0+1x1+2x3+2x1+2x2+0x2+0x0+1x0+2x2=17

其运算过程,就是卷积核在矩阵上对应位置点乘线性组合得到的输出。

卷积计算可以看做是参数矩阵和输入矩阵相乘,Y是输出,C是参数矩阵,X是输入矩阵

图像分割算法Unet中的上采样(反卷积)_第3张图片

然而反卷积其实就是通过X,去乘以一个相同的参数矩阵的转置,得到Y。

 图像分割算法Unet中的上采样(反卷积)_第4张图片

 这里需要注意的是,反卷积只是为了恢复图像维度,而不是为了恢复图像像素,只是恢复了图像的部分特征,所以并不是完全的逆运算,反卷积实质还是一种卷积。

参考:

https://iksinc.online/2017/05/06/deconvolution-in-deep-learning/

你可能感兴趣的:(算法,人工智能,深度学习)