tensorflow lite int8实践

概览

1. 什么是tflite?
2. 什么是int8?
3. 我用tflite int8做了什么事？
4. 做个小结
5. 可以期待/扩展的东西？

什么是tflite?

tensorflow lite是把tensorflow的机器学习模型跑在手机和嵌入式终端的一个官方解决方案。使用tflite在android，ios等系统上进行模型推断，可以减少资源消耗，加快运行速度。

什么是int8?

众所周知，在深度学习的训练和推断过程中，普遍使用float32精度进行所有的计算。然而，由于神经网络本身对噪声的鲁棒性，一些人提出在追求速度的推断过程中，将运算精度从float32降低到int8，从而在牺牲精度的情况下，换取速度的提升。

int8相较float32的优点

1. int8的所需字节数是float32的1/4, 即节约了 3/4的内存带宽
2. int8的运算指令，比float32更快，详细评测点这里
3. 更低的功耗

什么是tflite + int8 ？

基于上述背景，谷歌公司的工程师设计了一套float32模型量化方案，使得在整个模型推断过程，只需要用到整型计算(integer-only arithmetic)。为了保持量化后的模型准确率，更是为了这套量化方案设计了专门的模型训练方法，使得量化后的准确率只降0.6%左右。更细节更完整内容请看论文 quantization and training of neural networks for efficient integer-arithmetic-only inference

论文重点

定点计算

模型量化之后，我们得到的并不是一堆int8表示的整数，而是一些小数点固定的小数，即定点表示。定点表示允许我们使用int8指令进行小数的计算。详细讲解点这里

train中引入量化机制

为了保证模型的准确率，论文中的训练方法将量化机制引入到train中，具体实现是在模型forward时paramters使用int8精度获得最后的logit，但loss计算时使用float32进行参数更新；在train过程中，还会记录每一层conv weight和activation的量化范围(最大值和最小值)。

我用tflite int8做了什么事？

1. 测试tensorflow 官方放出的tflite quantized模型在rk3399上的速度，看是否属实

benchmark

device: rk3399

• arch=aarch64 use_NNAPI=false num_thread=1 loop_count=100
• note: tflite is slow in armv7a.

(unit: ms)	tflite_int8	tflite_float	tensorflow	ncnn
mobilenet_v1_0.25_128	4.25	6.47	16.2
mobilenet_v1_0.5_128	11.02	20.51	37.74
mobilenet_v1_0.75_128	20.88	43.02	69.97
mobilenet_v1_1.0_128	31.34	68.33	114.34
mobilenet_v1_1.0_224	92.19	179.26	312.18	144.64

• arch=aarch64 use_NNAPI=false num_thread=2 loop_count=100

(unit: ms)	tflite_int8	tfilte_float	tensorflow	ncnn	tvm
mobilenet_v1_0.25_128	3	10.27	19.33
mobilenet_v1_0.5_128	6.78	46.01	41.68
mobilenet_v1_0.75_128	11.98	54.94	63.03
mobilenet_v1_1.0_128	19.34	87.25	106.45
mobilenet_v1_1.0_224	51.58	211.19	258.38	88.89	77.9

结论：同模型同输入情况下，int8比最快的float实现快1.5倍左右(看mobilenet_v1_1.0_224)

2. 速度ok后，尝试替换端上的检测和分类模型

最后的实验结果：

分类	速度（rk3399单线程）	recall	acc
原模型(tensorflow)	25ms	86.3%	92.3%
新模型(tflite int8)	4ms	87.1%	93.2%

检测	速度（rk3399单线程）	recall	acc
原模型(tensorflow)	35ms	93.11%	81.57%
新模型(tflite int8)	26ms	96.17%	86.5%

速度更快，准确度反而还更高了？这是因为新模型的大小和参数量都比原来的模型更深，而且检测的输入也被我放大了。

在训练过程中，是在收敛的float模型的基础上finetune int8模型的，而int8模型的准确率确实会比float模型低0.6%左右。

做个小结

从实验可以看出，这一套tflite+int8方案，正如论文提及，完成可以handle检测和分类这种任务，有这类需求并在端上部署的同事，不妨尝试一下

1. 检测

   检测是用的tensorflow官方的api实现的train代码，只需要build好自己的tfrecord，就能根据教程跑起来，实用！缺点是GPU多卡训练会报错，训练数据多的时候需要填这个坑。目前int8只支持ssd和faster-rcnn

2. 分类

   分类只需要在tensorflow原有的train代码中，在loss后面引入 fake quant ops，简单实用。论文提及，目前这套方案只在官网发布的这些模型 确认有效，不保证别的模型能work

3. 导出 .tflite 模型

   这个流程比较长，遇到问题的朋友可以留言讨论

4. 端上开发步骤

   在需部署硬件上测试模型速度，速度符合需求后再train模型

可以期待/扩展的东西？

1. NVIDIA GPU上的float16 train/val, int8 val. 简单介绍

如有错误，欢迎指正