关于CNN FLOPs的计算

FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。

FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。

在评估一个CNN的计算复杂度时，浮点数计算是一个常用的衡量指标。注意本文介绍的主要是MAC(memory access cost)，即乘加法操作，在一些论文中是仅仅考虑乘法操作的。

• 下面是NVIDIA在文章《PRUNING CONVOLUTIONAL NEURAL NETWORKS FOR RESOURCE EFFICIENT INFERENCE》文章中的计算方式。

  在常规计算中，通常不考虑非线性函数（激活函数）的计算量，对于卷积操作（带bias）：

  $$FLOPs=2\times (H\times W\times C_{in}\times K^2+1)\times C_{out}=2(H\times W\times K^2\times C_{in}\times C_{out}+C_{out})$$

  $C_{in}$为输入通道数，$C_{out}$为输出通道数，$K$为卷积核大小，$H,W$分别是输出特征图高度和宽度。

  其中，$H\times W\times K^2\times C_{in}\times C_{out}$为卷积操作，$C_{out}$为bias操作，2是因为一个MAC操作算两个操作（包括累加和累乘）。

• 但有人认为这是一种估算，他们认为对于卷积的计算量计算如下（不含bias）：

  $$FLOPs=(2\times C_{in}\times K^2-1)\times H\times W\times C_{out}$$

  理解此公式需分两步，$(2\times C_{in}\times K^2-1)$是第一步，计算出输出特征图的一个像素点，然后再乘以$H\times W\times C_{out}$扩展到整个输出特征图。$(2\times C_{in}\times K^2-1)$又可以分两步理解，$(2\times C_{in}\times K^2-1)=(C_{in}\times K^2)+(C_{in}\times K^2-1)$，第一项是乘法运算数，第二项是加法运算数，因为有$n$个数相加，要加$n-1$次，所以不考虑bias，会有一个$-1$，如果考虑bias，刚好中和掉，括号内变为$2\times C_{in}\times K^2$。

实际上两种计算的差别不大。

• 对于全连接操作：输入维度$I$，输出维度$O$，则全连接层（不含bias）：

  $$FLOPs=(2\times I-1)\times O$$

  全连接操作，含有bias：

  $$FLOPs=2\times I\times O$$

  这里是没有考虑全连接中的bias操作，比如$x_1+x_2+...+x_n$只有$n-1$次加法。

本博客转载自https://blog.csdn.net/shwan_ma/article/details/84924142

• 还有另一种常用的FLOPs估算：
  对于一个标准卷积层，假设其大小是$h\times w\times c\times n$，其中$c$是输入通道数，$n$是输出通道数，$h,w$分别是卷积核的高度和宽度，输出的特征图大小是$H^{\prime }\times W^{\prime }$，则该卷积层

$$NU{M}_{params}=n\times (h\times w\times c+1)$$

$$NU{M}_{FLOPs}=H^{\prime }\times W^{\prime }\times n\times (h\times w\times c+1)$$

即$FLOPs=H^{\prime }\times W^{\prime }\times NU{M}_{params}$.

对于一个Depthwise Separable Convolution，则

$$NU{M}_{params}=h\times w\times c+n\times 1\times 1\times c$$

$$NU{M}_{FLOPs}=H^{\prime }\times W^{\prime }\times h\times w\times c+H^{\prime }\times W^{\prime }\times n\times 1\times 1\times c$$

Reference

• https://arxiv.org/abs/1611.06440v2
• https://www.zhihu.com/question/65305385/answer/451060549