反卷积原理不可多得的好文

反卷积原理不可多得的好文_第1张图片

反卷积(Deconvolution)的概念第一次出现是Zeiler在2010年发表的论文 Deconvolutional networks 中,但是并没有指定反卷积这个名字,反卷积这个术语正式的使用是在其之后的工作中( Adaptive deconvolutional networks for mid and high level feature learning )。随着反卷积在神经网络可视化上的成功应用,其被越来越多的工作所采纳比如:场景分割、生成模型等。其中反卷积(Deconvolution)也有很多其他的叫法,比如:Transposed Convolution,Fractional Strided Convolution等等。

这篇文章的目的主要有两方面:
1. 解释卷积层和反卷积层之间的关系;
2. 弄清楚反卷积层输入特征大小和输出特征大小之间的关系。

## 卷积层

卷积层大家应该都很熟悉了,为了方便说明,定义如下:
反卷积原理不可多得的好文_第2张图片
反卷积原理不可多得的好文_第3张图片

反卷积原理不可多得的好文_第4张图片
反卷积原理不可多得的好文_第5张图片
反卷积原理不可多得的好文_第6张图片


    我们再把4×4的输入特征展成[16,1]的矩阵X ,那么Y = CX则是一个[4,1]的输出特征矩阵,把它重新排列2×2的输出特征就得到最终的结果,从上述分析可以看出卷积层的计算其实是可以转化成矩阵相乘的。值得注意的是,在一些深度学习网络的开源框架中并不是通过这种这个转换方法来计算卷积的,因为这个转换会存在很多无用的0乘操作,Caffe中具体实现卷积计算的方法可参考Implementing convolution as a matrix multiplication。

     通过上述的分析,我们已经知道卷积层的前向操作可以表示为和矩阵 C 相乘,那么  我们很容易得到卷积层的反向传播就是和 C 的转置相乘

反卷积和卷积的关系

反卷积原理不可多得的好文_第7张图片


反卷积原理不可多得的好文_第8张图片
 
Fractionally Strided Convolution

反卷积原理不可多得的好文_第9张图片


反卷积原理不可多得的好文_第10张图片

参考

conv_arithmetic

Is the deconvolution layer the same as a convolutional layer?

转载过程中有些元素可能有缺失
具体请参考原文:https://buptldy. github.io/2016/10/29/2016-10-29-deconv/

你可能感兴趣的:(机器学习过客)