关于模型推理速度

一些低FLOPs的模型efficientNet，ghostnet等，在GPU上的推理速度并不会比resnet快，原因是深度可分离卷积depthwise这里操作具有大量的数据读写，比普通卷积高好几个量级，在读写中损耗的时间远大于浮点计算量节省的时间。

实际测试发现

在GPU（GTX2070）上，ghostnet的推理速度比resnet慢40%

在CPU（i7-10700）上，ghostnet的推理速度比resnet慢10%。

要知道ghostnet的浮点操作数要低一个数量级以上

估计在低算力的处理器上这些低FLOPs的主干网络还有点用。

另外：

list直接转torch的tensor：

a =[ .......... ] #list
b = torch.tensor(a)     

比   list先转numpy再转tensor

a =[ .......... ] #list
c = np.array(a)
b = torch.from_numpy(c)     

慢很多 ！