目录
1.简介
2.paddleSlim量化步骤
2.1量化训练API
2.2示例
量化训练要解决的问题是将FP32浮点数量化成INT8整数进行存储和计算,通过在训练中建模量化对模型的影响,降低量化误差。
PaddleSlim使用的是模拟量化训练方案,一般模拟量化需要先对网络计算图进行一定的处理,先在需要量化的算子前插入量化-反量化节点,再经过finetune训练减少量化运算带来的误差,降低量化模型的精度损失。
classpaddleslim.QAT(config=None, weight_preprocess=None, act_preprocess=None, weight_quantize=None, act_quantize=None)
使用该API可将模型转为模拟量化模型,使用量化训练方法QAT (Quant Aware Training, QAT)。
参数:
模型转换为模拟量化的三步:定义模型、配置config、转换为模拟量化模型。
from paddle.vision.models import mobilenet_v1
from paddleslim import QAT
net = mobilenet_v1(pretrained=False)
# 配置config
quant_config = {
'activation_preprocess_type': 'PACT',
'quantizable_layer_type': ['Conv2D', 'Linear'],
}
# 模型转换
quanter = QAT(config=quant_config)
quanter.quantize(lenet)
# 打印模型信息
paddle.summary(net, (1, 3, 224, 224))
config的配置
{
# weight预处理方法,默认为None,代表不进行预处理;当需要使用`PACT`方法时设置为`"PACT"`
'weight_preprocess_type': None,
# activation预处理方法,默认为None,代表不进行预处理`
'activation_preprocess_type': None,
# weight量化方法, 默认为'channel_wise_abs_max', 此外还支持'channel_wise_abs_max'
'weight_quantize_type': 'channel_wise_abs_max',
# activation量化方法, 默认为'moving_average_abs_max', 此外还支持'abs_max'
'activation_quantize_type': 'moving_average_abs_max',
# weight量化比特数, 默认为 8
'weight_bits': 8,
# activation量化比特数, 默认为 8
'activation_bits': 8,
# 'moving_average_abs_max'的滑动平均超参, 默认为0.9
'moving_rate': 0.9,
# 需要量化的算子类型
'quantizable_layer_type': ['Conv2D', 'Linear'],
}
创建模型和数据
import paddle
import paddle.vision.models as models
from paddle.static import InputSpec as Input
from paddle.vision.datasets import Cifar10
import paddle.vision.transforms as T
from paddleslim.dygraph.quant import QAT
net = models.mobilenet_v1(pretrained=False, scale=1.0, num_classes=10)
inputs = Input([None, 3, 32, 32], dtype='float32', name='image')
labels = Input([None, 1], dtype='int64', name='label')
optmizer = paddle.optimizer.Momentum(learning_rate=1e-1, parameters=net.parameters())
model = paddle.Model(net, inputs, labels)
model.prepare(optimizer=optmizer, loss=paddle.nn.CrossEntropyLoss(), metrics=paddle.metric.Accuracy(topk=(1, 5)))
transform = T.Compose([T.Transpose(), T.Normalize([127.5], [127.5])])
train_dataset = Cifar10(mode='train', backend='cv2', transform=transform)
val_dataset = Cifar10(mode='test', backend='cv2', transform=transform)
预训练
model.fit(train_dataset, epochs=5, batch_size=256, verbose=1)
model.evaluate(val_dataset, batch_size=256, verbose=1)
评估精度为0.94
{'loss': [1.0521829], 'acc': 0.943}
转化为量化模型
# 当使用普通量化策略时weight_preprocess_type 用默认设置None即可,当需要使用PACT量化策略时,则设置为’PACT’。
quant_config = {
# weight preprocess type, default is None and no preprocessing is performed.
'weight_preprocess_type': None,
# for dygraph quantization, layers of type in quantizable_layer_type will be quantized
'quantizable_layer_type': ['Conv2D', 'Linear'],
}
quanter = QAT(quant_config)
quanter.quantize(net)
微调
# finetune量化模型
model.fit(train_dataset, epochs=2, batch_size=256, verbose=1)
model.evaluate(val_dataset, batch_size=256, verbose=1)
评估精度为0.94,未见明显下降。
{'loss': [0.9758247], 'acc': 0.9447}
导出的量化模型相比原始FP32模型,模型体积没有明显差别,这是因为量化预测模型中的权重依旧保存为FP32类型。在部署时,使用PaddleLite opt工具转换量化预测模型后,模型体积才会真实减小。
pytorch的量化:深度学习模型量化(低精度推理)大总结