【深度笔记】模型理论性能计算调研

定义

1. 计算量

FLOP：浮点运算次数（Floating Point Operations）

MAC：乘加累积操作数

FLOPs/S：每秒的FLOP，可视作性能

公式：

计算工具：

https://github.com/Lyken17/pytorch-OpCounter
https://github.com/sovrasov/flops-counter.pytorch
https://github.com/facebookresearch/detectron2
https://github.com/rbgirshick/yacs
https://github.com/facebookresearch/pycls

2. 访存量

访存量是指模型计算时所需访问存储单元的字节大小，反映了模型对存储单元带宽的需求。访存量一般用 Bytes（或者 KB/MB/GB）来表示，即模型计算到底需要存/取多少 Bytes 的数据。