Tenserflow lite 踩坑记

Tenserflow lite是谷歌在2017年11月推出的轻量级移动端预测框架，目前已经支持Android和iOS，并且支持iOS的CoreML。TensorFlow是针对手机和嵌入式设备提供的轻量级解决方案。它提供了低延迟和小体积的端侧机器学习预测能力。TensorFlow Lite同时支持通过Android Neural Networks API硬件加速。

image

TensorFlow Lite使用了很多技术实现低延迟，例如为特定的手机App优化内核，预置激活函数(pre-fused activations)，允许运行小而快的量化过的模型的量子化内核。未来厂商还可以使用特定的机器学习硬件， 让某个模型在某个特定设备上获得最好的运算性能。

tflite同时提供了toco脚本工具，可以把tensorflow pb模型转化成tflite格式，一种基于flatbuffer的加载更快的序列化格式。tflite只能加载tflite格式的模型，不能加载以前tensorflow android使用的pb模型。

目前tflite官方支持的op还很少，因此很多复杂模型都没法在tflite上运行，目前实验转换成功的只有mobilenet模型， inceptionV3、ssd-mobilenet等模型都没法用toco转换成功，因为模型用到的op不支持。

Android tflite demo默认的tensorflow/contrib/lite/java/demo/app/src/main/java/com/example/android/tflitecamerademo/ImageClassifier.java只支持量化后的tflite模型， 具体的转换参考下面的命令。

如果需要使用没有量化的模型，需要修改ImageClassifier的代码，。具体参考
https://stackoverflow.com/questions/47463204/tensorflow-lite-convert-error-for-the-quantized-graphdef
https://github.com/tensorflow/tensorflow/issues/14719
修改代码后， 可以运行inceptionv3_slim_2016.tflite模型，这个模型没有量化过，预测速度很慢，预测一次大概需要1200ms，比tensorflow android的500ms还有慢。

toco转换模型和生成Demo App

# 测试通过,
 bazel-bin/tensorflow/contrib/lite/toco/toco \
 --input_file=PATH/model/mobilenet_v1_1.0_224/frozen_graph.pb \
--output_file=PATH/tensorflow/tensorflow/contrib/lite/java/demo/app/src/main/assets/mobilenet_v1_50_128q.tflite \
  --input_format=TENSORFLOW_GRAPHDEF \
  --output_format=TFLITE \
  --inference_type=QUANTIZED_UINT8 \
  --input_shape=1,224,224,3 \
  --input_array=input \
  --output_array=MobilenetV1/Predictions/Reshape_1 \
  --default_ranges_min=0 \
  --default_ranges_max=6 \
  --mean_value=128 \
  --std_value=128

#修改Android相关的代码，使用新的模型，编译app
bazel build --cxxopt=--std=c++11 //tensorflow/contrib/lite/java/demo/app/src/main:TfLiteCameraDemo

Android tflite demo也可以通过Android Studio编译生成，具体参考官方文档

实测发现， 使用toco脚本转换tflite模型时，目前支持的op有限， ssd-mobilenet模型不能正确转换，提示有op不支持。
tflite目前还很不完善，在生产环境中使用有很多限制，但运行速度确实很快，mobilenet1.0模型使用tflite做一次推断只需要80ms。