深度可分离卷积

首先，对于普通卷积：

我们从[12,12,3]的input feature map到[8,8,256]的output feature map，需要256个[5,5,3]的卷积核。参数量为256 x 5 x 5 x 3 = 19200，乘法次数为256 x 5 x 5 x 3 x 8 x 8 = 1228800(可以理解为FLOPs)。

对于depth-wise卷积：

分为2部分：Separable Conv 以及 Point-wise Conv.

同样的，从[12,12,3]的input feature map到[8,8,256]的output feature map，需要3个[5,5,1]的卷积核和256个[1,1,3]的卷积核。参数量为3 x 5 x 5 x 1 + 256 x 1 x 1 x 3 = 843，乘法次数为3 x 5 x 5 x 1 x 8 x 8 + 256 x 1 x 1 x 3 x 8 x 8 = 53952(FLOPs)。

如此一来，depth-wise conv的FLOPs只有普通卷积的~4.4%