tdsourcetag=s_pcqq_aiomsgtensorflow的量化有很多种方式，有些需要用到tflite，有些不需要，下面介绍一下不需要tflite也能量化的方式：在较早的版本上有官方的一个量化脚本

而在真实场景我们对实时性要求更高，因此需要tflite格式的更加轻量级模型。今天介绍一下pelee网络，然后教大家如何在本地运行。

最近在用TensorFlowObjectDetectionAPI训练目标检测模型，训练好的pb模型大小17.6M，用pb预测效果不错，于是想着如何在手机端运行，查看官网关于tflite的转换，网址：https

TFLite移植大致就是三步走！

https://pocketflow.github.io/tutorial/1、教程介绍压缩CNN，并导出为移动端设备可以部署的*.tflite文件。

1.部署环境：在PC上安装CUDA10和对应cuDNN，网上教程很多，这里不再累赘，推荐使用conda集成环境，1.新建python环境，2.安装tensorflow-gpu=1.13,TensorFlow对象检测API需要使用其GitHub存储库中提供的特定目录结构,所以第三步：从GitHub下载TensorFlow对象检测API存储库(下载TFV1.13版本，这里要与我们Pythontenso

前段时间研究了tflite和量化相关的操作,经测试量化尤其在具有专门DSP加速的硬件上(比如MTK8183)有着很好的加速效果,大约3X的提升;tensorflow提供了tflite转化工具toco,使用命令大致如下

自己在将tensorflow模型移动端部署的时候（使用tensorflowlite），踩了很多坑，查了很多资料，现在做个记录，所有参考资料在文章最后参考处列出。tensorflowlite是TensorFlowLite是GoogleI/O2017大会上的其中一个重要宣布，有了TensorFlowLite，应用开发者可以在移动设备上部署人工智能。tensorflowlite【github】基本思路：

https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/running_on_mobile_tensorflowlite.mdexportCONFIG_FILE=PATH_TO_BE_CONFIGURED/pipeline.configexportCHECKPOINT_PATH=PATH_TO

注意：在编译过程中出现的问题基本都可以归结为bazel与tensorflow版本不匹配。1.首先下载tensorflow源码。gitclonehttps://github.com/tensorflow/tensorflow2.进入下载好的tensorflow目录：3.打开configure.py，查看该源码对应的bazel版本。非常重要我这里是2.0.04.下载bazelhttps://githu

本文对比以下几种常见框架：TFLite，TEngine,paddlelite,mnn,nnpack,qnnpack,ncnn,FeatherCNN以及MACE。

TableofContentsTutorialPreparetheDataPreparethePre-trainedModelTraintheCompressedModelExporttoTensorFlowLiteDeployonMobileDevicesTutorial在本教程中，我们将演示如何压缩卷积神经网络，并将压缩后的模型导出为*.tflite

识别只需200ms,可断网测试，成功率99%，调用只要一行代码，从雅虎的开源项目open_nsfw移植，tflite（6M）为训练好的模型（已量化），该模型文件可用于iOS、java、C++等平台，Python

最近在研究怎么将服务器跑的模型移植到手机端，需要一些问题记录下~前提知识：1）熟悉Graph、GraphDef和MetaGraphDef的含义和区别2）熟悉tflite官网上的文档，包括pythonapi

提到人工智能和机器学习（MarchineLearning，ML），你的脑海里是否立即会浮现计算中心、高端GPU、成百上千的TPU等等。实际上，随着嵌入式设备、移动终端以及近年来物联网（InternetofThings，IoT）的发展，人工智能离我们越来越近。手机、智能音箱、电话手表，甚至控制开关，都配备有一定的人工智能。特别是物联网和智能家居的快速发展，机器学习在微型低功耗设备上应用得越来越广泛。

利用tflite框架在3536上相比浮点模型有了3X左右的速度提升，现在做一个总结记录。

在调用TFlite的JPEG函数接口时，需要定义一个unique_ptr。在使用这个指针的过程中遇到了一些问题。

假设AndroidNDK与SDK都安装完毕了，所以接下来只需要这几步：1,编译benchmark程序bazelbuild-copt\ --config=android_arm\ --cxxopt='--std=c++11'\ --copt=-DTFLITE_PROFILING_ENABLED\ tensorflow/lite/tools/benchmark:benchmark_model2,将be

引言深度学习模型的嵌入式部署一直以来都不是那么得容易，虽然现在有NvidiaNano和TFLite的树莓派部署，但要么硬件成本太高、功耗太大、要么性能太差，难以实用化和产品化。

在经过充分的行业调研后，阿里淘系技术部认为当时的推理引擎如TFLite不足以满足手机淘宝这样一个亿级用户与日活的超级App。于是，他们从零开始自己搭建了属于阿里巴巴的推理引擎MNN。

第二部分：Tensorflow伪量化训练操作（生成量化的tflite）序：(2018.12.24更新：鉴于评论中有人误解，我这里写清楚一点，后来者也可以先去看看评论区的问题然后再决定要不要看这篇博客～我当初在添加伪量化代码执行完全量化训练这部分

作者|MNN团队出品|阿里巴巴新零售淘系技术部MNN的诞生源于淘系技术部的一群对技术充满热情的同学，在充分的行业调研后认为当时的推理引擎如TFLite不足以满足手机淘宝这样一个亿级用户与日活的超级App

迁移之后会生成一个pb文件，然而pb文件又不能直接使用Tensorflow-lite这一个神器，因此就必须把pb模型转化为tflite模型，

darknet训练PASCALVOC2007数据集准备预训练模型和数据集生成darknet需要的label文件修改几个配置文件训练段错误测试训练自己的数据集批量测试图片并保存将weights权值文件转换为tflite

利用tflite框架在3536上相比浮点模型有了2X左右的速度提升，现在做一个总结记录。

思路主要是想使用tflite部署到安卓端，但是在使用tflite的时候发现模型的精度大幅度下降，已经不能支持业务需求了，最后就把OCR模型调用写在服务端了，但是精度下降的原因目前也没有找到，现在这里记录一下

目标是想把在服务器上用pytorch训练好的模型转换为可以在移动端运行的tflite模型。最直接的思路是想把pytorch模型转换为tensorflow的模型，然后转换为tflite。

以前tensorflow有bug在winodws下无法转，但现在好像没有问题了,代码如下将keras下的mobilenet_v2转成了tflitefromkeras.backendimportclear_sessionimportnumpyasnpimporttensorflowastfclear_session()np.set_printoptions(suppress=True)input_g

在Android手机上使用tensorflow训练出来的猫狗识别模型时，遇到如题目的问题一加载模型，就报错，查了很多原因，通过上面的V3和下面的V2的对比，发现只能用V2的，如果用V3搞出来tflite

tensorflowgraphdefstoTensorFlowLite'sflatbufferformattf、tflite存储格式不同,数据精度不同.量化量化好处自不必说了,减小模型大小,减少内存占用

简介在桌面PC或是服务器上使用TensorFlow训练出来的模型文件，不能直接用在TFLite上运行，需要使用离线工具先转成.tflite文件。

1.基于tensorflow-lite采用开源实现生成相应的pb文件，然后转化成tflite文件，此处注意mtcnn是多输出，转化时参考指令，该实现里面的2dprelu需要最新的版本的tflite才支持

概览什么是tflite?什么是int8?我用tfliteint8做了什么事？做个小结可以期待/扩展的东西？什么是tflite?

这是flutter_tflite移植的ReactNative版本，使用最新的TensorFlowLite1.12.0。

tflite一个用于调用TensorFlowLite的Flutter插件，支持iOS和Android。

TensorflowLite之编译生成tflite文件这篇文章中提到的在代码中生成lite文件会报错，可以按照如下修改importtensorflowastf#manuallyputbackimportedmodulesimporttempfileimportsubprocesstf.contrib.lite.tempfile

MLKit让开发者可以轻松地使用机器学习为自己的应用赋能，不论是使用我们的视觉识别或自然语言处理API，还是使用自己定制的TFLite模型。

模型量化什么是量化模型的weights数据一般是float32的，量化即将他们转换为int8的。当然其实量化有很多种,主流是int8/fp16量化,其他的还有比如二进制神经网络：在运行时具有二进制权重和激活的神经网络，以及在训练时计算参数的梯度。三元权重网络：权重约束为+1,0和-1的神经网络XNOR网络：过滤器和卷积层的输入是二进制的。XNOR网络主要使用二进制运算来近似卷积。现在很多框架或者工

我用camera和tflite插件做了一个结合TensorFlowLite的Flutter实时图像识别的demo。

最近项目里需要一个小型的目标检测模型，SSD、YOLO等一通模型调参试下来，直接调用TensorFlowobjectdetectAPI居然效果最好，大厂的产品不得不服啊。使用mobilenetssdv2模型，配置文件也未修改参数，训练后的模型不光检测效果不错，在CPU上的运行时间也在70ms左右。之后将模型移植到安卓手机上（魅族MX4，老的不是一点点），卡顿明显；改用同事的华为，在麒麟960上略微

注：该stft是类似于librosa中的同名函数，与tensorflow中的有区别，当然我也用tf实现了，问题是tflite都不支持这种操作，如果用tf底层（tf造轮子）编写，其速度肯定小于Java或者

mediapipe/models原文：https://github.com/Yuki03759/utils_python/blob/5c817f8b9dd44748f315eb63e9f791d0df11732e/tflite

本文主要实现用tflite接口调用tensorflow模型进行推理。实现了tensorflow在边缘计算及一些低成本方案、物联网或工业级应用中使用的轻量级模型部署方案，并提供相关示例源代码。

以前tensorflow有bug在winodws下无法转，但现在好像没有问题了,代码如下将keras下的mobilenet_v2转成了tflitefromkeras.backendimportclear_sessionimportnumpyasnpimporttensorflowastfclear_session()np.set_printoptions(suppress=True)input_g

在移动端的模型,若选择tensorflow或者keras最基本的就是生成tflite文件，以本文记录一次转换过程。

写在前面：对于像我这样的入门菜鸟来说，可能需要这样一篇入门级的博客来分享经验。（按照我的惯例，把参考的重要资源放在前面，以示尊重）安装系统参考：https://blog.csdn.net/kxwinxp/article/details/78370913build参考：https://tensorflow.google.cn/lite/guide/build_rpi跑label_imagedemo参

tensorflow官方模型转换教程https://tensorflow.google.cn/lite/converttensorflow1.8版本好像一些功能没有，我们还是通过bazel的方式转换bazelbuildtensorflow/lite/toco:tocobazel-bin/tensorflow/lite/toco/toco--input_file='../kerasyolo3/m/t

bazel0.18.1编译tensorflow1.12，使用TFLite将ssdmobilenet移植至安卓客户端，实打实能装1安装基础依赖sudoaptinstallpython-pipsudoapt-getinstallpkg-configzipg

//Tensorflow给的demo只支持mobilenet_quant_v1_224.tflite模型，如果换成其他模型如mobilenet_v1_1.0_224.tflite则会出现invalidinterpreterhandle

前言本文使用tensorflow下的ssdlite-mobilenetv2物体检测模型，并转换为tflite模型，并完成测试1.安装TensorFlowObjectDetectionAPI1.1下载tensorflow-master