【CNN】卷积神经网络的计算量

如果有问题请指教！
首先你要知道卷积神经网络的计算过程，这里不再赘述，下面的图分别来自邱锡鹏老师的书（https://nndl.github.io/）和李沐大神的直播课，最重要的是这句：每个输入通道有独立的二维卷积核，所有输入通道结果相加得到一个输出通道结果；每个输出通道有独立的三维卷积核。

相关变量：
输入$(B,C_{in},H,W)$
卷积核$(C_o,C_{in},K,stride=S,padding=P)$
输出 $（B,C_o,(\frac{H_{input}-H_{kernel}+2P}{S}+1)，(\frac{W_{input}-W_{kernel}+2P}{S}+1)）=（B,C_O,(\frac{H-K+2P}{S}+1)，(\frac{W-K+2P}{S}+1)$ 这里2P还是P看个人习惯哈~

1. 单次卷积的计算量——生成输出的一个元素：如图1，需要执行$K^2$次乘法、$K^2-1$次加法，总计：$2K^2-1$
2. 单输入通道的计算量：如图2，根据输出的大小，可知输出$(\frac{H-K+2P}{S}+1)\ast (\frac{W-K+2P}{S}+1)$个元素，即执行$(\frac{H-K+2P}{S}+1)\ast (\frac{W-K+2P}{S}+1)$次卷积计算（不是计算量！）；
3. 单输出通道多输入通道的计算量：如图2，需要执行$C_{in}\ast (\frac{H-K+2P}{S}+1)\ast (\frac{W-K+2P}{S}+1)$次卷积计算，还需将对应位置元素相加——$(C_{in}-1)\ast (\frac{H-K+2P}{S}+1)\ast (\frac{W-K+2P}{S}+1)$，总计：$C_{in}\ast (\frac{H-K+2P}{S}+1)(\frac{W-K+2P}{S}+1)\ast (2K^2-1)+(C_{in}-1)\ast (\frac{H-K+2P}{S}+1)\ast (\frac{W-K+2P}{S}+1)$
4. 多输出通道的计算量：需要执行$C_o$次3的操作，最后的计算量：$C_o[C_{in}(\frac{H-K+2P}{S}+1)(\frac{W-K+2P}{S}+1)(2K^2-1)+(C_{in}-1)(\frac{H-K+2P}{S}+1)(\frac{W-K+2P}{S}+1)]$
5. 多样本：$B{C}_o[C_{in}(\frac{H-K+2P}{S}+1)(\frac{W-K+2P}{S}+1)(2K^2-1)+(C_{in}-1)(\frac{H-K+2P}{S}+1)(\frac{W-K+2P}{S}+1)]$