《Estimator工程实现》系列三： SavedModel模型保存导出示例

使用场景

使用 SavedModel 保存和加载模型 - 变量、图和图的元数据。SavedModel 是一种独立于语言且可恢复的神秘序列化格式，使较高级别的系统和工具可以创建、使用和转换 TensorFlow 模型。TensorFlow 提供了多种与 SavedModel 交互的方式，包括 tf.saved_model API、tf.estimator.Estimator 和命令行界面。

利用estimator 进行模型导出，只需要指明模型的输入和输出，然后导出即可。主要涉及到的方法为：serving_input_receiver_fn(), export_outputs, tf.estimator.Estimator.export_savedmodel

博客中所构建代码，之后会上传至github中，方便大家使用estimator 进行模型导出服务。

1. serving_input_receiver_fn()官方API描述

在训练期间，input_fn()摄取数据并准备供模型使用。在服务时，类似地， serving_input_receiver_fn()接受推理请求并为模型准备它们。此功能具有以下用途：

• 要向图表添加占位符，服务系统将使用推理请求进行提供。
• 添加将输入格式的数据转换Tensor为模型预期的功能所需的任何其他操作。

该函数返回一个tf.estimator.export.ServingInputReceiver对象，该对象将占位符和结果特征打包Tensor在一起。

2. serving_input_receiver_fn()实现示例

tensorflow 提供了好几种serving_input_fn()。 在这里我使tf.estimator.export.ServingInputReceiver进行构建输入方法。
在代码中，features指代传入到model_fn()的 feature dict。也就是传入的特征字典。其中的images对应本人使用的模型中对应的images tensor。而receiver_tensors 指代我们要传入的数据字典。中间可以添加功能块，对传入的数据tensor进行处理，转换成model_fn中需要的feature。

def raw_serving_input_fn():
    serialized_tf_example = tf.placeholder(tf.float32, shape=[None, FLAGS.train_image_size,FLAGS.train_image_size,3], name="images")
    features = {"images": serialized_tf_example}
    receiver_tensors = {'predictor_inputs': serialized_tf_example}
    return tf.estimator.export.ServingInputReceiver(features, receiver_tensors)

3. export_outputs官方API描述

编写自定义时model_fn，必须填充返回值的export_outputs元素tf.estimator.EstimatorSpec。这是 {name: output}描述在服务期间要导出和使用的输出签名的单词。

在进行单个预测的通常情况下，此dict包含一个元素，并且它name是无关紧要的。在多头模型中，每个头部由该词典中的条目表示。在这种情况下name，您可以选择一个字符串，用于在服务时请求特定的头部。

每个output值必须是一个ExportOutput对象，例如 tf.estimator.export.ClassificationOutput，tf.estimator.export.RegressionOutput，或 tf.estimator.export.PredictOutput。

这些在部署serving后，可使用相应的api对服务进行访问。
官网tensorflow/serving 链接为：
https://github.com/tensorflow/serving/tree/master/tensorflow_serving/apis
https://github.com/tensorflow/serving/tree/master/tensorflow_serving/exampl

4. export_outputs实现示例

确定好输出的字典后，我们需要将该输出字典传入到tf.estimator.EstimatorSpec的export_outputs,以确定该estimator的导出模型的输出内容。

    predictions = {'pred_x_ratio': pred_x_ratio, 'pred_y_ratio': pred_y_ratio, 'pred_v': visiable_pre_argmax}

    output = {'serving_default': tf.estimator.export.PredictOutput(predictions)}
    if mode == tf.estimator.ModeKeys.PREDICT:
        return tf.estimator.EstimatorSpec(
                              mode=mode,
                              predictions=predictions,
                              loss=None, train_op=None,
        export_outputs=output )

5. 执行模型导出

通过export_savedmodel导出模型即可。

estimator.export_savedmodel(export_dir_base, serving_input_receiver_fn,
                            strip_default_attrs=True)

6. 检查输出的模型结构

进入导出的模型文件夹路径，通过官方提供的指令查看图输出结果

saved_model_cli show --dir . --all
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \
  sudo apt-key add -

本人模型的输出图结果如下，对应着以上的输入输出定义结果。

MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:

signature_def['serving_default']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['predictor_inputs'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 384, 384, 3)
        name: images:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['pred_v'] tensor_info:
        dtype: DT_INT64
        shape: (-1, 24)
        name: Identity_2:0
    outputs['pred_x_ratio'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 24)
        name: Reshape_1:0
    outputs['pred_y_ratio'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 24)
        name: Reshape_2:0
  Method name is: tensorflow/serving/predict

参考文档：

https://tensorflow.google.cn/versions/r1.9/guide/saved_model?hl=en#using_savedmodel_with_estimators

https://www.tensorflow.org/guide/saved_model?hl=zh-CN#load_and_serve_a_savedmodel_in_tensorflow_serving