模型轻量化

1. 轻量化网络

参考： https://zhuanlan.zhihu.com/p/35405071

 

Mobilenet v1核心是把卷积拆分为Depthwise+Pointwise两部分。

图5

为了解释Mobilenet，假设有  的输入，同时有  个  的卷积。如果设置  且  ，那么普通卷积输出为  ，如图6。

图6 普通3x3卷积，k=2

Depthwise是指将  的输入分为  组，然后每一组做 卷积，如图7。这样相当于收集了每个Channel的空间特征，即Depthwise特征。

图7 depthwise卷积，g=k=3

Pointwise是指对  的输入做  个普通的  卷积，如图8。这样相当于收集了每个点的特征，即Pointwise特征。Depthwise+Pointwise最终输出也是  。

图8 pointwise卷积，k=2

这样就把一个普通卷积拆分成了Depthwise+Pointwise两部分。其实Mobilenet v1就是做了如下转换，如图9：

• 普通卷积：3x3 Conv+BN+ReLU
• Mobilenet卷积：3x3 Depthwise Conv+BN+ReLU 和 1x1 Pointwise Conv+BN+ReLU

图9

那这样做有什么好处？对比一下不同卷积的乘法次数：

• 图6 普通卷积计算量为： 
• 图7 Depthwise计算量为： 
• 图8 Pointwise计算量为： 

通过Depthwise+Pointwise的拆分，相当于将普通卷积的计算量压缩为：