pytorch 计算网络模型的计算量FLOPs和参数量parameter之殊途同归

计算网络模型的计算量FLOPs和参数量parameter之殊途同归

  • 参数量方法一:pytorch自带方法,计算模型参数总量
  • 参数量方法二: summary的使用:来自于torchinfo第三方库
  • 参数量方法三: summary的使用:来自于torchsummary第三方库
  • 计算量方法一:thop的使用,输出计算量FLOPs和参数量parameter

在进行论文撰写时,我们通常要通过计算网络模型的计算量FLOPs和参数量parameter来评估模型的性能,本文总结了几种常用的计算方式,大家可以尝试一下。
为了能够便于读者理解,我们选取pytorch自带的网络resnet34进行测试,也可自行更改为其他或所提网络

参数量方法一:pytorch自带方法,计算模型参数总量

from torchvision.models import resnet34

net=resnet34() # 注意:模型内部传参数和不传参数,输出的结果是不一样的
# 计算网络参数
total = sum([param.nelement() for param in net.parameters()])
# 精确地计算:1MB=1024KB=1048576字节
print('Number of parameter: % .4fM' % (total / 1e6))

输出:

Number of parameter:  21.7977M

参数量方法二: summary的使用:来自于torchinfo第三方库

torchinfo 的 summary 更加友好,我个人觉得是 print 和 torchsummary 的 summary 的结合体!推荐!!!

from torchvision.models import resnet34
import torch
from torchinfo import summary  # 注意:当使用from torchsummary import summary时,对应的summary应该为:summary(model, input_size=(3, 512, 512), batch_size=-1)
if __name__ == "__main__":
    model = resnet34()
    tmp_0 = model(torch.rand(1, 3, 224, 224).cuda())
    print(tmp_0.shape)

    summary(model, (1, 3, 224, 224))# summary的函数内部参数形式与导入的第三方库有关,否则报错

输出结果如下:
pytorch 计算网络模型的计算量FLOPs和参数量parameter之殊途同归_第1张图片
pytorch 计算网络模型的计算量FLOPs和参数量parameter之殊途同归_第2张图片

参数量方法三: summary的使用:来自于torchsummary第三方库

torchsummary 中的 summary 可以打印每一层的shape, 参数量,

from torchvision.models import resnet34
from torchsummary import summary
model = resnet34()
summary(model, input_size=(3, 512, 512), batch_size=-1)# 同样是summary函数,注意与方法二的区别

输出结果如下:

pytorch 计算网络模型的计算量FLOPs和参数量parameter之殊途同归_第3张图片
pytorch 计算网络模型的计算量FLOPs和参数量parameter之殊途同归_第4张图片

计算量方法一:thop的使用,输出计算量FLOPs和参数量parameter

注意区分FLOPs和FLOPS
FLOPs就是表示模型前向传播中计算MAC(乘法加法操作的次数),如果FLOPs的值越大,也从一定程度上说明模型越复杂,模型需要的计算力(算力)更高,因此对硬件的要求也就越高!

from torchvision.models import resnet34
import torch
from thop import profile
if __name__ == "__main__":
    # #call Transception_res

    model = resnet34()
    input = torch.randn(1, 3, 512, 512)
    Flops, params = profile(model, inputs=(input,)) # macs
    print('Flops: % .4fG'%(Flops / 1000000000))# 计算量
    print('params参数量: % .4fM'% (params / 1000000)) #参数量:等价与上面的summary输出的Total params值

该网络模型中包含该方法的计算:https://github.com/Barrett-python/DuAT/blob/main/DuAT.py

输出结果:输出为网络模型的总参数量(单位M,即百万)与计算量(单位G,即十亿)

Flops:  19.2174G
params参数量:  21.7977M

pytorch 计算网络模型的计算量FLOPs和参数量parameter之殊途同归_第5张图片
参考链接:

  1. CNN 模型的参数(parameters)数量和浮点运算数量(FLOPs)是怎么计算的https://blog.csdn.net/weixin_41010198/article/details/108104309
  2. 区分FLOPs和FLOPS:https://blog.csdn.net/IT_flying625/article/details/104898152
  3. pytorch得到模型的计算量和参数量https://blog.csdn.net/qq_35407318/article/details/109359006
  4. 轻量化网络中常使用的参数量和计算量评估;https://blog.csdn.net/weixin_46274756/article/details/130391999如下图所示
    pytorch 计算网络模型的计算量FLOPs和参数量parameter之殊途同归_第6张图片
  5. Pytorch 中打印网络结构及其参数的方法与实现https://blog.csdn.net/like_jmo/article/details/126903727
  6. CNN 模型所需的计算力flops是什么?怎么计算?https://zhuanlan.zhihu.com/p/137719986
  7. FLOPS的计算:https://blog.csdn.net/baidu_35848778/article/details/127571810

你可能感兴趣的:(pytorch,深度学习,python)