【模型量化】HAQ:强化学习让模型压缩90%而精度几乎不受影响

HAQ-for-Mobilenetv3-Quantization

代码地址:

https://github.com/Sharpiless/HAQ-for-Mobilenetv3-Quantization

论文地址:

https://arxiv.org/abs/1811.08886?

算法简介:

HAQ(Hardware-Aware Automated Quantization with Mixed Precision)是一个自动化的混合精度量化框架,使用强化学习让每一层都学习到了适合该层的量化位宽。
【模型量化】HAQ:强化学习让模型压缩90%而精度几乎不受影响_第1张图片
不同的网络层有不同的冗余性,因此对于精度的要求也不同,当前已经有许多的芯片开始支持混合精度。通常来说,浅层特征提取需要更高的精度,卷积层比全连接层需要更高的精度。如果手动的去搜索每一层的位宽肯定是不现实的,因此需要采用自动搜索策略。

另一方面,一般大家使用FLOPS,模型

你可能感兴趣的:(强化学习,模型量化,深度学习,模型压缩,Mobilenet)