模型复杂度分析和mmlab实验测试

简介

FLOPS:（floating-point operations per second）的缩写。“每秒浮点运算次数”，“每秒峰值速度”是“每秒所执行的浮点运算次数”。它常被用来估算电脑的执行效能，尤其是在使用到大量浮点运算的科学计算领域中。正因为FLOPS字尾的那个S，代表秒，而不是复数，所以不能省略掉。
FLOPs:乘加次数,计算量对应时间复杂度
例如:
$$\begin{gathered} flop{s}_{cov}=h\ast w\ast k^2\ast c_{in}\ast c_{out} \\ flop{s}_{downsample}=0 \\ flop{s}_{fc}=weigh{t}_{in}\ast weigh{t}_{out} \end{gathered}$$
params:参数量对应于我们之前的空间复杂度,参数量影响显存
$$\begin{gathered} param{s}_{cov}=k^2\ast c_{in}\ast c_{out} \\ 考虑bias:param{s}_{cov}=(k^2\ast c_{in}+1)\ast c_{out} \\ param{s}_{downsample}=0 \\ param{s}_{fc}=weigh{t}_{in}\ast weigh{t}_{out} \end{gathered}$$
参数量：即模型中需要学习的参数数量，它是衡量模型复杂度的另一个重要指标。模型的参数量越多，表示模型的表达能力越强，但也意味着模型需要更多的计算资源和数据来训练和推断。比如，在训练模型时需要更多的GPU内存，推断时需要更多内存来存储模型参数。
显存=模型自身的参数(params)+模型计算产生的中间变量(memory)

实验测试:

利用mmengine工程进行实验:

import torchvision
from mmengine.analysis import get_model_complexity_info

if __name__ == '__main__':
    resnet = torchvision.models.resnet18()
    input_shape = (3, 224, 224)
    analysis_results = get_model_complexity_info(resnet, input_shape)
    # 对于第一卷积层
    params1 = 7 * 7 * 3 * 64
    flops1 = 7 * 7 * 3 * 64 * 224 / 2 * 224 / 2
    activations = 64 * 112 * 112
    print('params={}K,params={}G,activations={}M'.format(params1 / pow(10.0, 3), flops1 / pow(10.0, 9),
                                                         activations / pow(10.0, 6)))
    print(analysis_results['out_table'])
    pass

验证自己计算和mmengine打印结果是一样的