基于pytorch的模型剪枝+模型量化+BN合并+TRT部署(cifar数据)(2)

1)量化:High-Bit(>2b): QAT, PTQ, QAFT; Low-Bit(≤2b)/Ternary and Binary: QAT
2)剪枝:正常、规整和分组卷积结构剪枝
3)针对特征(A)二值量化的BN融合(训练量化后,BN参数 —> conv的偏置b)
4)High-Bit量化的BN融合(训练量化中,先融合再量化,融合:BN参数 —> conv的权重w和偏置b)
对比实验如下,相关代码下载地址:下载地址

类型 W(Bits) A(Bits) Acc GFLOPs Para(M) Size(MB) 压缩率 损失
原模型(nin) FP32 FP32 91.01% 0.15 0.67 2.68 *** ***
采用分组卷积

你可能感兴趣的:(pytorch量化感知训练,稀疏训练,模型剪枝学习教程,自动驾驶,计算机视觉,人工智能)