pytorch-quantization创建自定义量化模块

Creating Custom Quantized Modules

  • Quantizing Modules With Only Inputs
  • Quantizing Modules With Weights and Inputs
  • Directly Quantizing Inputs In Graph

量化工具提供了几个量化的模块,如下所示:
QuantConv1d,QuantConv2d,QuantConv3d,pentConvtranspose1d,pentConvtranspose2D,pentConvTranSpose3D
QuantLinear
QuantAvgPool1d,QuantAvgPool2D,QuantAvgPool3D,Quantmaxpool1d,QuantMaxPool2D,QuantMaxPool3D
要量化模块,我们需要量化输入和权重(如果存在)。以下是3个主要用例:

  1. 为只有输入的模块创建量化包装器
  2. 为具有输入和权重的模块创建量化包装器。
  3. 直接将 TensorQuantizer 模块添加到模型图中操作的输入。
    如果需要自动用量化版本替换原始模块(图中的节点),前两种方法非常有用。当需要在非常特定的位置手动将量化添加到模型图中时&

你可能感兴趣的:(TensorRT-部署-加速,pytorch,人工智能,python)