TFlite实战

  深度学习要想落地实践,一个少不了的路径即是朝着智能终端、嵌入式设备等方向发展。但终端设备没有GPU服务器那样的强大性能,那如何使得终端设备应用上深度学习呢?

所幸谷歌已经推出了TFMobile,去年又更进一步,推出了TFLite,其应用思路为在GPU服务器上利用迁移学习训练自己的模型,然后将定制化模型移植到TFLite上,

终端设备仅利用模型做前向推理,预测结果。本文基于以下三篇文章而成:

  • 理论篇:https://www.tensorflow.org/hub/tutorials/image_retraining#other_architectures
  • 实践篇一:https://codelabs.developers.google.com/codelabs/tensorflow-for-poets/index.html#0
  • 实践篇二:https://codelabs.developers.google.com/codelabs/tensorflow-for-poets-2-tflite/#0
  • 谷歌提供的预编译模型:https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/g3doc/models.md
  • TOCO官网:https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/lite/toco

      相信大家掌握后,也能轻松定制化自己的图像识别应用。

第一步. 准备数据

  数据下载地址为:http://download.tensorflow.org/example_images/flower_photos.tgz  

  这是一个关于花分类的图片集合,下载解压后,可以看出有5个品种分类:daisy(雏菊)、dandelion(蒲公英)、rose(玫瑰)、sunflower(向日葵)、tulip(郁金香)。

  我们的目的即是通过重新训练预编译模型,得到一个花类识别的模型。

第二步. 重新训练

  1. 挑选预编译模型

        从上述“谷歌提供的预编译模型”列表中,我们大体可以看出分为两类模型,一种是Float Models(浮点数模型),一种是Quantized Models(量化模型),什么区别呢?

  其实Float Models表示为一种高精度值的模型,该模型意味着模型size较大,识别精度更高、识别时长更长,适合高性能终端设备;而Quantized Models则反之,是低精度值的模型,其精度采取固定的8位大小,故其模型size较小,识别精度低、识别时长较短,适合低性能终端设备,更细的说明可以参见 https://www.tensorflow.org/performance/quantization  。

  我们的手机设备更新换代很快,一般可以使用Float Models。在这个模型下,有不少预编译模型可选,对于本文来说,主要集中为Inception 和Mobilenet两种架构。  

       注意Mobilenet其实也分为很多种类,如Mobilenet_V1_0.50_224,其中第三个参数为模型大小比例值(只能算是近似,不准确),分为0.25/0.50/0.75/1.0四个比例值,第四个参数为图片大小,其值有128/160/192/224四种值。

  有兴趣想观察各模型层次结构的可通过以下代码查看:  

import tensorflow as tf
import tensorflow.gfile as gfile

MODEL_PATH = \'/home/yourname/Documents/mobilenet_v1_1.0_224/frozen_graph.pb\'

def main(unusedArgv):
    with tf.Graph().as_default() as graph:
        with gfile.FastGFile(MODEL_PATH, \'rb\') as f:
            graph_def = tf.GraphDef()
            graph_def.ParseFromString(f.read())
            tf.import_graph_def(graph_def, name=\'\')
    for op in graph.get_operations():
        for tensor in op.values():
            print(tensor)

if __name__ == \'__main__\':
    tf.app.run()

  考虑到测试手机性能还不赖,我们选择mobilenet_v1_1.0_224这个版本作为我们的预编译模型。

  2. 下载训练代码

  需要下载训练模型代码和android相关代码,如下:

git clone https://github.com/googlecodelabs/tensorflow-for-poets-2

cd tensorflow-for-poets-2

  其中,scripts目录下的retrain.py是我们需要关注的,这个代码目前仅支持Inception_v3和Mobilenet两种预编译模型,默认的训练模型为Inception_v3。

  3. 重新训练模型

  两种模型的训练命令不同,若走默认的Inception_v3模型,可通过如下命令: 

python -m scripts.retrain \
  --learning_rate=0.01 \
  --bottleneck_dir=tf_files/bottlenecks \
  --how_many_training_steps=4000 \
  --model_dir=tf_files/models/ \
  --output_graph=tf_files/retrained_graph.pb \
  --output_labels=tf_files/retrained_labels.txt \
  --image_dir=tf_files/flower_photos \

  若走Mobilenet模型,可通过如下命令:

python -m scripts.retrain \
 --learning_rate=0.01 \  
  --bottleneck_dir=tf_files/bottlenecks \
  --how_many_training_steps=4000 \
  --model_dir=tf_files/models/ \
  --output_graph=tf_files/retrained_graph.pb \
  --output_labels=tf_files/retrained_labels.txt \
  --image_dir=tf_files/flower_photos \
  --architecture=mobilenet_1.0_224

  模型命令解释如下:

 --architecture 为架构类型,支持mobilenet和Inception_v3两种
   --image_dir 为数据地址,假定你在tensorflow-for-poets-2目录下建立了tflite目录,把花图片集放入其中
   --output_labels 最后训练生成模型的标签,由于花图片集合已经按照子目录进行了分类,故retrained_labels.txt最后包含了上述五种花的分类名称
   --output_graph 最后训练生成的模型
   --model_dir 命令启动后,预编译模型的下载地址
   --how_many_training_steps 训练步数,不指定的话默认为4000
   --bottleneck_dir用来把top层的训练数据缓存成文件
   --learning_rate 学习率
   此外,还有些参数可以根据需要进行调整:
   --testing_percentage 把图片按多少比例划分出来当做test数据,默认为10
   --validation_percentage 把图片按多少比例划分出来当做validation数据,默认为10,这两个值设置完后,training数据占比80%
   --eval_step_interval 多少步训练后进行一次评估,默认为10
   --train_batch_size 一次训练的图片数,默认为100
   --validation_batch_size 一次验证的图片数,默认为100
   --random_scale 给定一个比例值,然后随机扩大训练图片的大小,默认为0
   --random_brightness 给定一个比例值,然后随机增强或减弱训练图片的明亮程度,默认为0
   --random_crop 给定一个比例值,然后随机裁剪训练图片的边缘值,默认为0 

    4. 检验训练效果

    我们用Mobilenet_1.0_224进行训练,完成后找一张图片看看是否能正确识别:

python -m scripts.label_image \
  --graph=tf_files/retrained_graph.pb  \
  --image=tf_files/flower_photos/daisy/3475870145_685a19116d.jpg

结果为:

Evaluation time (1-image): 1.010s

daisy (score=0.62305)
tulips (score=0.22490)
dandelion (score=0.14169)
roses (score=0.00966)
sunflowers (score=0.00071)

还是准确地识别了daisy出来。

    5. 转换模型格式

      pb格式是不能运行在TFLite上的,TFLite吸收了谷歌的protobuffer优点,创造了FlatBuffer格式,具体表现就是后缀名为.tflite的文件。

     上述TOCO的官网已经介绍了如何通过命令行把pb格式转成为tflite文件,或者在代码里也可以转换格式。不仅支持pb格式,也支持HDF5文件格式转换成tflite,实现了与其他框架的模型共享。

     那如何转呢?本例通过命令行方式转换。若训练模型为Inception_v3,命令行方式如下:

toco \
  --graph_def_file=tf_files/retrained_graph.pb \
  --output_file=tf_files/optimized_graph.lite \
  --input_format=TENSORFLOW_GRAPHDEF \
  --output_format=TFLITE \
  --input_shape=1,299,299,3 \
  --input_array=Mul \
  --output_array=final_result \
  --inference_type=FLOAT \
  --input_data_type=FLOAT

     若训练模型为mobilenet,命令行方式则如下:

toco \
  --graph_def_file=tf_files/retrained_graph.pb \
  --output_file=tf_files/optimized_graph.lite \
  --input_format=TENSORFLOW_GRAPHDEF \
  --output_format=TFLITE \
  --input_shape=1,224,224,3 \
  --input_array=input \
  --output_array=final_result \
  --inference_type=FLOAT \
  --input_data_type=FLOAT

  需要说明几点:

       --input_array 参数表示模型图结构的入口tensor op名称,mobilenet的入口名称为input,Inception_v3的入口名称为Mul,为什么这样?可查看scripts/retrain.py代码里内容:

  if architecture == \'inception_v3\':
    # pylint: disable=line-too-long
    data_url = \'http://download.tensorflow.org/models/image/imagenet/inception-2015-12-05.tgz\'
    # pylint: enable=line-too-long
    bottleneck_tensor_name = \'pool_3/_reshape:0\'
    bottleneck_tensor_size = 2048
    input_width = 299
    input_height = 299
    input_depth = 3
    resized_input_tensor_name = \'Mul:0\'
    model_file_name = \'classify_image_graph_def.pb\'
    input_mean = 128
    input_std = 128
elif architecture.startswith(\'mobilenet_\'):
    ...
    data_url = \'http://download.tensorflow.org/models/mobilenet_v1_\'
    data_url += version_string + \'_\' + size_string + \'_frozen.tgz\'
    bottleneck_tensor_name = \'MobilenetV1/Predictions/Reshape:0\'
    bottleneck_tensor_size = 1001
    input_width = int(size_string)
    input_height = int(size_string)
    input_depth = 3
    resized_input_tensor_name = \'input:0\'

  其中的resized_input_tensor_name即是新生成模型的入口名称,大家也可以通过上面“1.挑选预编译模型”的代码可视化查看新生成的模型层次结构。所以名称必须正确写对,否则运行该命令会抛出“ValueError: Invalid tensors \'input\' were found” 的异常。

       --output_array则是模型的出口名称。为什么是final_result这个名称,因为在scripts/retrain.py里有:

parser.add_argument(
      \'--final_tensor_name\',
      type=str,
      default=\'final_result\',
      help="""\
      The name of the output classification layer in the retrained graph.\
      """
  )

       即出口名称默认为final_result。

       --input_shape 需要注意的是mobilenet的训练图片大小为224,而Inception_v3的训练图片大小为299。

       最后optimized_graph.lite即是我们要移植到android上的模型文件啦。

第三步. Android TFLite 

       1. 下载Android Studio

         这一步骤不是本文重点,请大家自行在 https://developer.android.com/studio/ 进行下载安装,安装最新的SDK和NDK。

  2. 引入工程

  从android studio上引入 tensorflow-for-poets-2/android/tflite 下的代码,共有四个类,有三个类是跟布局打交道,而我们只需要关注ImageClassifier.java类。

        3. 导入模型

  可通过命令行方式把生成的模型导入上述工程的资源目录下:

cp tf_files/optimized_graph.lite android/tflite/app/src/main/assets/mobilenet.lite 
cp tf_files/retrained_labels.txt android/tflite/app/src/main/assets/mobilenet.txt

   4. 修改ImageClassifier.java类

  注意修改四个地方即可:

 /** Name of the model file stored in Assets. */
  private static final String MODEL_PATH = "mobilenet.lite";

  /** Name of the label file stored in Assets. */
  private static final String LABEL_PATH = "mobilenet.txt";

  static final int DIM_IMG_SIZE_X = 224; //若是inception,改成299
  static final int DIM_IMG_SIZE_Y = 224; //若是inception,改成299

  5. 运行观看效果

  连上手机后,点击“Run”->"Run app"即会部署app到手机上,此时任何被摄像头捕获的图片都会按照标签里的5个分类进行识别排名。

       我们可以通过百度搜一些这五种类别的花进行识别,以看看其识别的正确率。

后记:根据我的测试结果,在花的图片集上,mobilenet_1.0_244模型生成的新模型识别率较高,而inception_v3模型生成的新模型识别率较低或不准。

       建议大家新的数据集可在两种模型间进行比较,以找到最适合自己的模型。

你可能感兴趣的:(深度学习,神经网络,tensorflow)