全连接-普通卷积-深度可分离卷积-分组卷积-计算量和参数量

1. 一个全连接的参数量

$$params=(N_i+1)\times N_o$$
其中，$N_i$ 表示输入特征向量权重个数，$N_o$ 表示输出特征向量的权重个数，+1表示偏置，直接理解参数量与输入输出个数有关。

2. 一个全连接的计算量

$$FLOPs=[I_i+(I_i-1)+1]\times I_o$$
其中，$I_i$ 表示输入特征数，$I_i-1$ 表示加法次数，+1表示偏置，$I_o$ 表示输出的特征个数，也是与输入输出个数有关。（注：$FLOPS$ 指的是机器每秒浮点运算次数，衡量硬件指标，与 $FLOPs$ 是浮点运算数，理解为模型计算量）

3. 一层卷积的参数量

$$params=(k_w\times k_h\times C_i+1)\times C_o$$
其中，$k_w$ 和 $k_h$ 是卷积核的宽和高，$C_i$ 和 $C_o$ 表示输入通道和输出通道，+1表示偏置，若 $k_w$ 和 $k_h$ 相等，则为 $(k^2\times C_i+1)\times C_o$ ，可以理解为参数量只与卷积核和输入输出通道有关。

4. 一层卷积的计算量

$$FLOPs=\left[(C_i\times k_w\times k_h)+(C_i\times k_w\times k_h-1)+1\right]\times C_o\times W_i\times H_i$$
其中，第一个小括号表示乘法运算量，第二个小括号表示加法运算量(可以理解为一次卷积多少个数相加减1)，+1表示偏置，$C_o$ 表示输出通道数，$W_i$ 是输入的宽，$H_i$ 是输入的高，可以理解为计算量与卷积核和输入输出通道以及输入的大小有关。

5. 深度可分离卷积

给定一个$D_F\times D_F\times M$ 的特征图生成一个 $D_F\times D_F\times N$ 的特征图

正常卷积核尺寸：$D_K\times D_K\times M\times N$ ，计算量为：$2(M\times D_K\times D_K)\times D_F\times D_F\times N$， 深度可分离卷积中，深度卷积尺寸是 $D_K\times D_K\times M$ ，每个卷积核的通道数为1，$2(M\times D_K\times D_K)\times D_F\times D_F$；点卷积尺寸是 $M\times 1\times 1\times N$， 每个卷积核尺寸是 $1\times 1$ ，计算量是$2\times M\times N\times D_F\times D_F$, 都按照正常卷积的公式带入即可，所以深度可分离卷积的计算量是：
$$2(D_K\times D_K)\times N\times D_F\times D_F+2(M\times N\times D_F\times D_F)$$
所以深度可分离卷积与传统卷积的计算量之比：
$$\frac{2(M\times D_K\times D_K)\times D_F\times D_F+2(M\times N\times D_F\times D_F)}{2(M\times D_K\times D_K)\times N\times D_F\times D_F}=\frac{1}{N}+\frac{1}{D_K^2}$$
所以3x3的深度可分离卷积减少8-9倍的计算量，而精度只降低一点。先进行深度卷积再进行点卷积以此分离正常的卷积步骤。

理解深度可分离卷积的过程下面这张图更好理解：

6. 分组卷积

第一张图是正常卷积，第二张图是分组卷积，对于正常卷积的参数量是 $h_1\times w_1\times c_1\times c_2$ ，对于分组卷积的参数量指的是 $h_1\times w_1\times \frac{c_1}{g}\times \frac{c_2}{g}\times g$ ，可以这样解释：原特征图分成 $g$ 组，每一组生成 $\frac{c_2}{g}$ 通道的特征图，$h_1\times w_1\times \frac{c_1}{g}\times \frac{c_2}{g}$ 的含义是一组的参数，一共有 $g$ 组所以得到参数如上所述。所以分组卷积的参数量是标准卷积的 $\frac{1}{g}$ ，所以分组卷积减少参数量。

分组卷积的作用：减少参数量，可以看成稀疏操作(相当于正则化操作)，当输入输出特征图数量一致时就是深度卷积。

这张图更容易理解分组卷积：

参考链接：
神经网络中的参数量和计算量
CNN模型复杂度(FLOPs、MAC)、参数量与运行速度
深度可分离卷积
深度学习_卷积神经网络_分组卷积
理解分组卷积和深度可分离卷积如何降低参数量
CNN模型复杂度（FLOPs、MAC）、参数量与运行速度