MACs和FLOPs

FLOPs

Floating Point Operations:
浮点运算次数，每一个加、减、乘、除操作都算1FLOPs操作，常用来衡量模型计算复杂度。
注意下FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标，两者别弄混。。。

MACs

Multiply–Accumulate Operations:
乘加累积操作数，常常被人们与FLOPs概念混淆。实际上1MACs包含一个乘法操作与一个加法操作，大约包含2FLOPs。通常MACs与FLOPs存在一个2倍的关系

关系

为什么使用乘加运算指标(MACs)呢？因为神经网络运算中内积、乘加运算无处不在：
对于一个3*3滤波器在特征图上的一次运算可以表示为：
$y=w_0\ast x_0+w_1\ast x_1+w_2\ast x_2+w_3\ast x_3+w_4\ast x_4+w_5\ast x_5+w_6\ast x_6+w_7\ast x_7+w_8\ast x_8$

对于上式，记 $w_0\ast x_0$+… 为一次乘加，即1MACC。所以对于上式而言共有9次乘加，即9MACs（实际上，9次相乘、9-1次相加，但为了方便统计，将计算量近似记为9MACs，就像算法复杂度通常把 O(N+b)表示成O(N)一样，都只是一种近似，不需要纠结）

MACC vs FLOPs：对于上式而言，可以认为执行了9次乘法、9-1次加法，所以一共是9+(9-1)次FLOPs。所以近似来看1FLOPs ≈ 2MACC。（需要指出的是，现有很多硬件都将乘加运算作为一个单独的指令）。

使用

一般情况下ReLU层和Pooling层计算FLOPs，而conv层、FC层，计算MACC数
定义：
$H_{in}$ 、$W_{in}、C_{in}$表示输入特征图的长、宽、通道数
$H_{out}$ 、$W_{out}、C_{out}$表示输入特征图的长、宽、通道数

全连接层

1. 我们令输入全连接层的是一个 $I$ 维的列向量(也可以叫做$I\times 1$的矩阵)，全连接层的参数是 $J\times I$ 维的参数矩阵。
2. 那么全连接层在做的就是矩阵和向量做矩阵乘法，即 $(J\times I)\times (I\times 1)=J\times 1$，就是参数矩阵的每一行都与输入的列向量做内积，所以共$I$次计算。
3. 然后一共有$J$行，所以这个全连接层的计算量就是： MACs=$J\times I$

卷积层

1. 对于卷积层时，生成的单通道特征图中每个像素位置$ij$都是经过了 $K\times K\times C_{in}$ 次计算
2. 而一个特征图的尺寸为$H_{out}\times W_{out}$所以单通道特征图的计算就为：
   $K\times K\times C_{in}\times H_{out}\times W_{out}$。
3. 生成的特征图共有 $C_{out}$个通道，那么这个卷积层的计算量就为：
   MACs=$K\times K\times C_{in}\times C_{out}\times H_{out}\times W_{out}$

深度分离卷积

深度分离卷积与常规卷积不同，它不组合输入通道，而是分别对每个通道执行卷积。对于具有 $C_{in}$ 个通道的特征图，深度卷积创建一个也具有 $C_{in}$ 个通道的输出特征图（就是说$C_{out}=C_{in}$）。每个通道都有自己的一组权重。
那么计算量就为：
MACs=$K\times K\times C_{in}\times H_{out}\times W_{out}$

注：因为考虑bias时，只是做加法，并没有做乘法，所以考虑bias并不会增加MACs 。

池化层

全局池化（常用）：

针对输入所有值进行一次池化操作，不论是max、sum还是avg，都只需要对每个值都计算一次，所以：
FLOPs = $H_{in}\times W_{in}\times C_{in}$

一般池化（不常用）：

对于输出的每一个值，都是一次池化操作，每次池化操作的计算量就是池化过滤器参数的数量。

FLOPs = $H_{out}\times W_{out}\times C_{out}\times K\times K$

激活层

ReLU/PReLU/ELU

对于输入的每一个值，都进行一个运算(例如：ReLU,对每个值 $x$ 进行 $max(x,0)$ 操作),所以总的计算量就是：
FLOPs = $H_{in}\times W_{in}\times C_{in}$

Sigmoid

由公式：$y=\frac{1}{1+exp(-x)}$ ， 可以看到，对每个输入$x$,要先取负数，然后取指数，再**+1**，再取倒数，即4个操作，所以总的计算量为：
FLOPs = $H\times W\times C\times 4$