深度可分离卷积 Depthwise Seperable Convolution

0.前言

在原始图像卷积网络的基础上,经过不断的改进和优化,出现了如分组卷积(Group convolution)、空洞卷积(Dilated / Atrous Convolution convolution),深度可分离卷积(Depthwise Seperable Convolution)等各式各样的卷积改进形式。
Depthwise(DW)卷积与Pointwise(PW)卷积,合起来被称作深度可分离卷积,是首先由Google在Xception模型中提出,是对Inception V3 networks改进尝试版,在随后出现的MobileNet网络获得成功。该结构和常规卷积操作类似,可用来提取特征,但相比于常规卷积操作,其参数量和运算成本较低,在一些轻量级网络需求中会常见到这种结构。

目前在模型参数优化(降低参数量且保证网络性能)中,通常有两类工作可做:

  • 压缩预训练模型: 获得小型网络的一个办法是减小、分解或压缩预训练网络,例如量化压缩(product quantization)、哈希(hashing )、剪枝(pruning)、矢量编码( vector quantization)和霍夫曼编码(Huffman coding)等;各种分解因子(various factorizations )用来加速预训练网络;网络蒸馏法(distillation ),通过使用大型网络指导小型网络训练。
  • 直接选择训练小型模型: 如Xception network中说明了如何对Inception V3 networks使用深度可分离卷积;如Flattened networks利用完全的因式分解的卷积网络构建模型,显示出完全分解网络的潜力;Factorized Networks引入了类似的分解卷积以及拓扑连接的使用;Squeezenet 使用一个bottleneck用于构建小型网络。

1.基本的图像卷积—Basic 2D convolution

引用cs231n中使用的图像卷积示意图:

基本思想是在较大的2D数组上滑动一个小窗口(通常称为“filter”或卷积核),并在每个位置的过滤器元素和相应的输入数组元素之间执行点积,上图是使用的RGB三通道的图像。
关于TensorFlow的tf.nn.conv2d操作实现中需要注意一个地方。有很多关于layout或data format的讨论,默认情况下是NHWC。NHWC只是表示4D张量中尺寸的顺序为:

  • N:批次
  • H:高度(空间尺寸)
  • W:宽度(空间尺寸)
  • C:频道(深度)

NHWC是TensorFlow的默认布局; 另一个常用的布局是 NCHW,因为它是NVIDIA DNN库首选的格式。此处的代码示例遵循默认值。这也许也是很多情况下使用GPU加速运算时,NCHW格式的要比NHWC格式的要快的原因,因为NCHW是NVIDIA亲生的格式。

2. 深度卷积 Depthwise convolution

在对多个输入通道执行常规2D卷积中,卷积核的通道数与输入的通道数一致,我们会混合所有通道(对应位置相加)来产生最后的一个输出。深度卷积不一样,每个通道在卷积过程中仍然保持分离,因此称为深度卷积。以下图表可帮助解释其工作原理:

深度可分离卷积 Depthwise Seperable Convolution_第1张图片
总体上分为三个阶段:

  • 将输入图像和滤波器(卷积核)都按照通道划分(输入和滤波器的通道数必须相等)。
  • 对于每个通道,将输入与相应的滤波器进行卷积,生成输出张量(2D)。
  • 将输出张量堆叠在一起。
    在TensorFlow中,对应的op是tf.nn.depthwise_conv2d ; 这个op具有通道倍增的概念,使我们可以为每个输入通道计算多个输出(有点像conv2d中的输出通道数概念 )。
    在Pytorch中,对应于 torch.nn.Conv2d 类,直接将参数groups,out_channels都设为in_channels,即可实现depthwise conv。

对于获得的特征图如何进行类似于普通卷积的通道融合操作呢?这就要利用接下来的1x1卷积核了。

3. 1x1卷积 Pointwise Convolution

在完成深度卷积后,执行跨通道进行1x1卷积。
深度可分离卷积 Depthwise Seperable Convolution_第2张图片
这与前面讨论过的普通卷积操作完全相同,只不过卷积核的尺度由3x3x3变为1x1x3。对于不同的输出通道,重复此步骤。如上图所示深度卷积的输出与1个1x1x3的卷积核返回对应的1个通道上的特征图,多个通道的输出需要同样多个1x1x3的卷积核进行通道融合操作。
在TensorFlow中,此操作称为tf.nn.separable_conv2d。

  • Depthwise_filter 负责分通道进行深度特征抽取
  • Pointwise_filter 用于多通道特征融合,这两个的实现和我们理解的可分离卷积的过程完全一致!

这样设计的计算量是怎样降低的呢?

4. 参数与计算量对比:

假设对于输入为128x128的一张RGB图像,
卷积核格式 F x F x inC x outC:

  • F 表示卷积核的尺度,一般设为奇数,我们使用F=3
  • inC表示卷积核的通道数
  • outC表示输出特征图(叠加后)的通道数

对于普通卷积:
参数量:3 * 3 * 3 * 16 = 432
计算量:3 * 3 * 3 * 128 * 128 * 16 ≈ 7e6

对于深度可分离卷积:
参数:3 * 3 * 3 + 3 * 16 = 75
计算量:3 * 3 * 3 * 128 * 128 + 128 * 128 * 3 * 16 ≈ 1.2e6

参数个数是常规卷积的约1/5,(会根据参数设置而变化,不是定值),且计算量也大大降低。因此,在参数量相同的前提下,采用Separable Convolution的卷积神经网络层数可以做的更深,自然更可能获得较高的准确度,这对很多轻量级网络的设计都有借鉴。网络的具体实现步骤可参照MobileNet网络相关的项目。

参考:

cs231n
eli.thegreenplace.net

你可能感兴趣的:(神经网络)