(八)深度可分离卷积(Depthwise Separable Convolution，DSC)

---

欢迎访问个人网络日志知行空间

---

深度可分离卷积（Depthwise Separable Convolution，DSC）最早出现在巴黎綜合理工學院(cmap ecole polytechnique)的Laurent Sifre于2014年提交的一篇名为“Rigid-motion scattering for image classification”的博士学位论文中。但让大家对DSC熟知的则是两个著名的模型，一个是2016年10月google对Inception v3改进后提出的Xception，另一个是2017年4月谷歌提出的专注于在移动设备上的轻量级神经网络MobileNet,关于MobileNet和Xception的介绍可参考知乎博文。要理解深度可分离卷积，先来回顾一下常规卷积神经网络。

1.常规卷积神经网络

大多数的资料将常规卷积神经网络都是以单通道图像为例子，不便于理解多通道的情况。这里借用CS231N讲义上的一个例子来说明：

https://cs231n.github.io//assets/conv-demo/index.html
（本来是一个动图，CSDN这个老小子不给加载iframe标签）`

上图中，输入是5x5x3的图像，即宽W=5高H=5通道C=3,图中在输入图像上下左右边缘有+1的padding，故图中宽高为7，卷积核大小3x3x2，卷积步长stride=2,根据下述公式可求卷积输出的大小：（5-3+2）/2+1=3
$$W_{out}=\frac{W-K+2P}{S}+1$$

其中W是输出图像的原始宽度，K是卷积核的大小，P是padding的大小，stride是卷积的步长,
从上图可以得到卷积参数的计算方式为3x3x3x2=54：
$$parameters=K\times K\times C_{in}\times C_{out}$$

图像卷积的计算可以参考下图：

卷积输出的通道为2卷积输入的通道为3,因此当前卷积层可理解为2个卷积核，每个卷积核的大小为3x3x3

• 输入通道1应用卷积核W0的通道1计算
  
  $$o0001=0\times 1+0\times 0+0\times (-1)+0\times 1+2\times 0+2\times (-1)+0\times 1+2\times (-1)+1\times 1=-3$$
• 输入通道1应用卷积核W0的通道2计算
  
  $$o0002=0\times 1+0\times (-1)+0\times 1+0\times 1+1\times 0+1\times (-1)+0\times (-1)+0\times (-1)+1\times 0=-1$$
• 输入通道1应用卷积核W0的通道3计算
  
  $$o0003=0\times 0+0\times (-1)+0\times (-1)+0\times 0+0\times (-1)+2\times (-1)+0\times 1+1\times 0+2\times (-1)=-4$$
• 输出o[0,0,0]处的值为：
  
  $$o[0,0,0]=o0001+o0002+o0003+b=-3+(-1)+(-4)+1=-7$$

以上就是常规卷积的计算过程，不同通道间计算得到的结果求和再加偏置。

2.深度可分离卷积(Depthwise Separable Convolution，DSC)

了解了常规卷积的计算过程后，理解深度可分离卷积就很容易了。因为深度可分离卷积也是以常规的卷积神经网络为基础的，其计算成两部分，一部分是应用输入单个通道上的Depthwise卷积，一部分是核大小为1x1的Pointwise的常规卷积

2.1 Depthwise的逐通道卷积

Depthwise的逐通道卷积一个卷积核负责一个通道，一个通道只被一个卷积核卷积

图片参考自https://zhuanlan.zhihu.com/p/92134485

以输入宽高为5x5通道为3的图像为例，卷积核的输出通道也必须为3,3个卷积核分别只在输入数据的一个通道上做卷积，得到最后的卷积输出，注意与常规卷积的区分，3个卷积核大小都是3x3x1。

因此Depthwise的逐通道卷积参数个数为：

$$parameter{s}_{Depthwise}=3\times 3\times 3=27$$

2.2 Pointwise的逐点卷积

Pointwise卷积运算是核大小为1x1的常规卷积运算。Pointwise卷积运算会将上一步Depthwise`的逐通道卷积的map在深度方向上进行加权组合。

Pointwise卷积的参数为：

$$parameter{s}_{Pointwise}=1\times 1\times 3\times 4=12$$

2.3 总结

• $(K_W，K_H，C_{in},C_{out})=(3,3,3,4)$常规卷积的参数为108
• $(K_W，K_H，C_{in},C_{out})=(3,3,3,4)$深度可分离卷积的参数为27+12=39
• 参数上深度可分离卷积减少了网络的参数，因此网络可以做的更深
• Depthwise卷积相当于只在空间上卷积
• Pointwise卷积相当于进行通道间的特征融合

参考资料

• 1.https://zhuanlan.zhihu.com/p/92134485