tensorflow 19： tflite 概念理解
概述
学术界对精度、自由度的要求和工业界对速度、精简度的要求形成了反差，这就使得越来越多的框架开始把training和inference分开，各公司都开始针对移动设备纷纷推出高性能inference库。
tflite
tflite其实就是谷歌自己的一个轻量级推理库。主要用于移动端。之前的tensorflow mobile那一套到2019年就不再维护了。
tflite使用的思路主要是从预训练的模型转换为tflite模型文件，拿到移动端部署。
tflite的源模型可以来自tensorflow的saved model或者frozen model,也可以来自keras。
tflite做了哪些优化
- 用Flatbuffer序列化模型文件，这种格式磁盘占用少，加载快
- 量化。这个特性是可以开关的，可以把float参数量化为uint8类型，模型文件更小、计算更快。
- 剪枝、结构合并和蒸馏。我也不是很确定，敢写在这里主要来自两个官方文件，具体链接在本文最下方参考资料里。一个是《Model optimization》，这里提到了优化模型用到了模型优化方法，另一个是《Converter command-line examples》，里面一张对比优化前后的计算图显示tflite在转换时确实进行了结构调整。但是这个特性没有很多人讲，有可能这方面tflite做的不是很多，只是浅尝辄止。
- 对NNAPI的支持。上三个特性都是转换模型文件的特性，这个是运行时的特性。也就是调用安卓底层的接口，把异构的计算能力利用起来。虽然 TFLite 基于 NNAPI，理论上是可以利用上各种运算芯片的，但目前还没有很多运算芯片支持 NNAPI。
量化
对量化的理解主要来自《用 TensorFlow 压缩神经网络》。
tflite的量化并不是全程使用uint8计算。而是存储每层的最大和最小值，然后把这个区间线性分成 256 个离散值，于是此范围内的每个浮点数可以用八位 (二进制) 整数来表示，近似为离得最近的那个离散值。比如，最小值是 -3 而最大值是 6 的情形，0 字节表示 -3，255 表示 6，而 128 是 1.5。
每个操作都先用整形计算，输出时重新转换为浮点型。下图就是量化Relu的示意图。
如果连续一串操作都有等价的浮点操作，则会有许多相邻的量化/去量化操作。当发现这种模式之后，转换程序会把相互抵消的那些操作移除，比如：
由于每层最大值最小值不一样，所以没法把整形从头算到尾，中间还是有不少量化/去量化操作。
tfite的缺陷
TFLite 目前仅提供有限的算子，主要以 CNN 中使用到的算子为主，如卷积、池化等。
有可能遇到的情况就是，模型的某些算子tflite不支持（比如反卷积），你可以自定义一个 TFLite 算子，将其注册在 TFLite 的 kernels 列表中，这样编译得到的 TFLite 库就可以处理该算子了。同时，在模型转换时，还需要加上 --allow_custom_ops 选项，将 TFLite 默认不支持的算子也保留在模型中。(本段来自《有道云笔记是如何使用 TensorFlow Lite 的》)
tflite支持的算子列表在《TensorFlow Lite & TensorFlow Compatibility Guide》这个页面上。
如何将tensorflow模型文件转换为tflite文件
本节来自《Tensorflow lite for 移动端安卓开发（二）——完整详细过程训练自己的模型》
生成float inference模型
cd /home/liuli/tensorflow
bazel build tensorflow/contrib/lite/toco:toco
bazel run --config=opt tensorflow/contrib/lite/toco:toco -- \
--input_file=/home/liuli/work/Tensorflow/1_frozen.pb \
--output_file=/home/liuli/work/Tensorflow/7_float.tflite \
--inference_type=FLOAT \
--input_shape=1,224,224,3 \
--input_array=input \
--output_array=MobilenetV1/Predictions/Reshape_1
生成Quant inference模型
cd /home/liuli/tensorflow
bazel build tensorflow/contrib/lite/toco:toco
bazel run --config=opt tensorflow/contrib/lite/toco:toco -- \
--input_file=/home/liuli/work/Tensorflow/1_frozen.pb \
--output_file=/home/liuli/work/Tensorflow/7.tflite \
--input_format=TENSORFLOW_GRAPHDEF \
--output_format=TFLITE \
--inference_type=QUANTIZED_UINT8 \
--input_shape=1,224,224,3 \
--input_array=input \
--output_array=MobilenetV1/Predictions/Reshape_1 \
--default_ranges_min=0 \
--default_ranges_max=6 \
--std_value=127.5 \
--mean_value=127.5
量化的效果
参考了《tflite现成的模型》，这个页面是tensorflow的github。
float类型的tflite模型（未量化）：
量化的效果：
看来还是要量化，否则调用太慢。这里的结果看来量化的精度损失不大，但是网上有人测试效果差挺远，所以要具体分析。
查看输入输出节点
编译：
Bazel build tensorflow/tools/graph_transforms:summarize_graph （查看模型结构，找出输入输出）
该命令查看整个Tensorflow模型概况，使用命令如下，运行之后，得到自己整个网络结构，从中可以找到自己模型的输入输出，如下图（模型比较乱。。。）
# “--in_graph=” 后面是模型存储的位置
bazel-bin/tensorflow/tools/graph_transforms/summarize_graph --in_graph=../mz_graph.pb
本节主要来自：《Tensorflow 模型转 tflite ，在安卓端使用》
参考资料
官方文档
- Introduction to TensorFlow Lite
- Post-training quantization
- Model optimization
- tflite现成的模型
- Converter command-line examples
- TensorFlow Lite & TensorFlow Compatibility Guide
大神的博客中文翻译：用 TensorFlow 压缩神经网络（详细解释了为何量化有效）
Tensorflow 模型转 tflite ，在安卓端使用（介绍了ftlite的基本流程和概念）
知乎大神：从TensorFlow Lite源码入门CNN量化
有道云笔记是如何使用 TensorFlow Lite 的
GEMM-通用矩阵乘法:
- 深度学习中GEMM的前世今生
- Why GEMM is at the heart of deep learning
Tensorflow lite for 移动端安卓开发（二）——完整详细过程训练自己的模型