深度学习知识点总结

关于bn层

mean,std 第i个元素就是第i个通道上全部batch张输出特征图所有元素的平均值和方差,所shape就是特征图shape
可学习参数 weight和bias分别对应 γ，β.有bn时cov可以不用bia
在训练过程中,mean和std是统计得到的,然后在迭代过程中动态累加,m*si-1+(1-m)*si,m为历史保留比,对应pytorch的momenta参数,test过程中使用训练过程的统计结果

关于计算量(FLOPs)和参数量(Params)

flops:乘加次数,计算量对应时间复杂度
例如:
$$\begin{gathered} flop{s}_{cov}=h\ast w\ast k^2\ast c_{in}\ast c_{out} \\ flop{s}_{downsample}=0 \\ flop{s}_{fc}=weigh{t}_{in}\ast weigh{t}_{out} \end{gathered}$$
params:参数量对应于我们之前的空间复杂度,参数量影响显存
$$\begin{gathered} param{s}_{cov}=k^2\ast c_{in}\ast c_{out} \\ param{s}_{downsample}=0 \\ param{s}_{fc}=weigh{t}_{in}\ast weigh{t}_{out} \end{gathered}$$
显存=模型自身的参数(params)+模型计算产生的中间变量(memory)