【深度学习】关于CNN网络的FLOPs的计算

在评估一个CNN网络的计算复杂度时，浮点数运算（float point operation）是一个常用的衡量指标。注意本文介绍的主要是MAC（乘法加法操作），在一些论文里是仅仅考虑乘法操作的。

在常规的计算中，通常不考虑非线性函数的计算量（the nonlinearity），对于卷积操作：(带bias)

$$\begin{gathered} FLOPs=2\ast (HW{C}_{in}{K}^2+1)C_{out} \\ =2\ast (HW{K}^2{C}_{in}{C}_{out}+C_{out}) \end{gathered}$$

其中式子中$HW{K}^2{C}_{in}{C}_{out}$为卷积操作，$C_{out}$为bias操作，2则表示为MAC操作（包含累加及累乘）

上面是NVIDIA在文章《PRUNING CONVOLUTIONAL NEURAL NETWORKS FOR RESOURCE EFFICIENT INFERENCE》文章中的计算方式。

但有人认为这是一种估算，他们认为对于卷积的计算量计算如下（不含bias）：

$$FLOPs=(2\ast C_{in}\ast K^2-1)\ast H\ast W\ast C_{out}$$

其中第一个括号可拆成$(C_{in}\ast K^2+C_{in}\ast K^2-1)$，原因是n个数相加需要n-1次加法，此处不含bias。若没有-1则是带bias的计算方式。他们认为Nvidia是一种估算。

实际上两种计算的差别不是很大。

对于全连接操作：输入维度$I$，输出维度$O$，则全连接层（不含bias）：

$$FLOPs=(2\times I-1)\times O$$

全连接操作，含bias：

$$FLOPs=2\times I\times O$$

这里是没有考虑全连接中的bias操作，比如x1+x2+…xn只有（n-1）次加法。

Ref:

1. PRUNING CONVOLUTIONAL NEURAL NETWORKS FOR RESOURCE EFFICIENT INFERENCE
2. https://www.zhihu.com/question/65305385/answer/451060549