【从零开始AI】卷积神经网络中的参数量和计算量

卷积神经网络模型的中的参数量和计算量是衡量深度学习算法的重要指标，计算量对应的是算法的时间复杂度。

一、参数量

1、卷积层的参数量
$$parameter=(k_w\ast k_h\ast C_{in}+1)\ast C_{out}$$
其中表示C_out输出通道数，C_in表示输入通道数，k_w表示卷积核宽，k_h表示卷积核高。 k_w*k_h*C_in括号内的表示一个卷积核的权重数量，+1表示bias，括号表示一个卷积核的参数量，C_out表示该层有C_out个卷积核。
2、全连接层的参数量
$$parameter=(N_{in}+1)\ast N_{out}$$
其中表示N_out表示输出的权重数量，N_in表示输入的特征向量的权重，+1表示偏置。

二、计算量

1、卷积层的FLOPs
$$FLOPs=[(C_{in}\ast k_w\ast k_h)+(C_{in}\ast k_w\ast k_h-1)+1)\ast C_{out}\ast w\ast h$$
FLOPs是英文floating point operations的缩写，表示浮点运算量，中括号内的值表示卷积操作计算出feature map中一个点所需要的运算量（乘法和加法），k_w*k_h*C_in表示一次卷积操作中的乘法运算量，k_w*k_h*C_in-1表示一次卷积操作中的加法运算量，+ 1 表示bias，W和H分别表示feature map的长和宽，C_outwh表示feature map的所有元素数。
2、全连接层的FLOPs
$$FLOPs=(In+(In-1)+1)\ast Out$$
其中In表示乘法运算量，In-1表示加法运算量，+1表示偏置。