深度学习模型剪枝、量化和TensorRT推理

深度学习模型剪枝、量化和TensorRT推理

模型剪枝算法

  • 参考文献:Rethinking the Value of Network Pruning (ICLR 2019)
  • github:https://github.com/Eric-mingjie/rethinking-network-pruning

        Rethinking the Value of Network Pruning这篇文献主要介绍了以下几种剪枝算法,并在github上开源了代码,在ImageNet和cifar两个数据集上进行了测试,论文也验证了对比了对剪枝模型进行fine tune和根据剪枝后的网络结构从头训练网络的准确率,在作者提供的准确率中,一般情况下,对于分类网络,从头训练的准确率比剪枝后fine tune后的准确率高。

预定义网络结构剪枝

剪枝方法 参考文献 github 剪枝原理
L1-norm based Filter Pruning Pruning Filters for Efficient ConvNets l1-norm-pruning 在每一个卷积层,根据卷积核的权重值的L1 norm大小,修剪掉相应百分比的通道数。
ThiNet ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression https://github.com/Roll920/ThiNet 剪枝时,不根据当前层进行剪枝,而是修剪去对下一卷积层激活值影响最小的权重值。
Regression based Feature Reconstruction Channel Pruning for Accelerating Very Deep Neural Networks https://github.com/yihui-he/channel-pruning 根据LASSO回归算法选出有代表性的卷积层通道,减枝去掉冗余通道,使用最小二乘法重建剩余通道。

自动网络结构剪枝

剪枝方法 参考文献 github 剪枝原理
Network Slimming (1) Learning Efficient Convolutional Networks through Network Slimming
(2) SlimYOLOv3: Narrower, Faster and Better for Real-Time UAV Applications
(1) network-slimming
(2) https://github.com/PengyiZhang/SlimYOLOv3
在剪枝时,对BN层的gamma参数进行惩罚进行稀疏训练,剪枝时选择稀疏训练后BN层gamma值较大的参数进行保留
Sparse Structure Selection Data-Driven Sparse Structure Selection for Deep Neural Networks https://github.com/TuSimple/sparse-structure-selection 除了对通道进行稀疏训练,还可以对残差模块进行稀疏训练。
  • 稀疏训练代码
def updateBN():
    for m in model.modules():
        if isinstance(m, nn.BatchNorm2d):
            m.weight.grad.data.add_(args.s*torch.sign(m.weight.data))
  • 注意:剪枝时对残差模块通道的剪枝策略需要考虑,方案有不剪枝(减去的参数较少)或者根据残差模块的某一层进行剪枝,也有对所有残差通道的mask进行或运算。剪枝后的效果如下图所示,在剪枝时必须保证shortcut连接的两个卷积层通道数相等。
  • 使用network slimming算法时,每个卷积层都必须剩下至少1个通道。
    深度学习模型剪枝、量化和TensorRT推理_第1张图片

TensorRT int8量化算法

参考连接:8-bit Inference with TensorRT

量化概述

  • 目标:将fp32的卷积神经网络转换为int8而不会造成明显的精度损失;
  • 原因:int8方法具有更高的吞吐量和更低的内存需求;
  • 挑战:int8的精度和动态范围明显低于fp32;
  动态范围 最小精度
fp32 -3.4 x 1038 ~ +3.4 x 1038 1.4 x 10-45
fp16 -65504 ~ +65504 5.96 x 10-8
int8 -128 ~ +127 1
  • 解决方案:在将训练的模型权重量化为int8时以及在int8计算激活时,最大限度地减少信息损失;
  • 结果:在TensorRT中实现了int8方法,并且不需要任何额外的fine tune或重训练。
  • 问题:
    为什么要量化而不使用int8直接训练?
    模型训练是需要反向传播和梯度下降的,训练时的超参一般都是浮点型,如学习率等,int8类型无法进行训练。

线性量化

公式:
Tensor Values = fp32 scale factor * int8 array

根据量化公式仅需求fp32 scale factor即可进行int8量化,那么如何求fp32 scale factor?
深度学习模型剪枝、量化和TensorRT推理_第2张图片

        从上图中可以看出,有两种int8量化方法,一种是非饱和映射(左),另一种是饱和映射(右)。经过验证,非饱和映射会造成严重的准确率损失,原因是由于卷积层计算的正负分布很不均匀,如果按照对称非饱和映射(原意是为了尽可能多地保留原信息)的话,那么+max那边有一块区域就浪费了,也就是说scale到int8后,int8的动态范围就更小了,举个极限的例子就是量化后正的样本没有,负的全部扎堆在一个很小的值附近,这样会造成严重的精度损失。饱和映射方法是先找一个阈值T,将低于最低阈值的值全部都饱和映射到-127上,如右上图的左边的三个红色的点。

如何选择量化阈值?

1. 标定步骤:

  • 在标定数据集上进行fp32推理。
  • 对每一个卷积层:
    • 收集激活的直方图;
    • 生成具有不同饱和阈值的量化分布;
    • 选择使KL发散最小化的阈值。
  • 一般来说,整个标定过程需要几分钟的时间

2. 标定数据集选择:

  • 有代表性
  • 多样化
  • 理想情况下是验证数据集的子集
  • 1000+样例

深度学习模型转TensorRT

【1】 深度学习模型PyTorch训练并转ONNX与TensorRT部署
【2】 darknet YOLOv4模型转ONNX转TensorRT部署
【3】 yolov5 PyTorch模型转TensorRT
【4】 CenterFace模型转TensorRT
【5】 RetinaFace MXNet模型转ONNX转TensorRT

你可能感兴趣的:(TensorRT,深度学习,图像处理,深度学习,计算机视觉,神经网络,pytorch)