深度学习: 轻量级网络

综述

2016年提出了三个非常重要的轻量级网络：

• Xception
• MobileNet
• ShuffleNet

均采用了 depth-wise卷积 ，极大地减少了参数和计算量。
为了实现通道间的信息交互，MobileNet 用了 point-wise group，ShuffleNet 用了 channel shuffle。后者省去了卷积步骤，速度更快。

depth-wise计算

参数量	$\frac{3\times 3\times C_{in}+1\times 1\times C_{in}\times C_{out}}{3\times 3\times C_{in}\times C_{out}}$
FLOPS	$\frac{[3\times 3\times C_{in}\times F\times F+C_{in}\times C_{out}\times F\times F]\times 2}{[3\times 3\times C_{in}\times C_{out}\times F\times F]\times 2}=\frac{1}{C_{out}}+\frac{1}{3\times 3}$

MobileNet

版本号	特性
v1	depth-wise conv + point-wise group
v2	去掉了通道收缩时的激活；relu换成relu6
v3	用了NAS；用了h-swish激活

ShuffleNet

版本号	特性
v1	depth-wise conv + channel shuffle
v2	用 channel split 分割成两个分支，合并后再做 channel shuffle