Tensorflow serving(tf_serving) 安装测试说明

编译安装tf_serving,需要添加一些依赖
Bazel:集成的类似于makefile 文件性质的编译工具，
安装参考https://bazel.build/versions/master/docs/install.html
gRPC:tf_serving 构建client和server连接桥梁的依赖工具，基于protobuf实现的，
安装参考：https://github.com/grpc/grpc/tree/master/src/python/grpcio
以上准备就绪就可以开始从源处安装tf_serving ：
1. clone tf_serving 资料库

$>git clone --recurse-submodules https://github.com/tensorflow/serving
$>cd serving$

2.配置文件
$>cd tensorflow
$./configure
$>cd ..
特别注意：此处配置python路径时，一定要知道自己使用的依赖包在哪个个路径，如果依赖包没有在当前的python路径下，要通过export $PYTHONPATH=“你的包所在路径”添加引用路径下，个人踩过的坑
3. 通过bazel 创建tensorflow_serving(初次耗时会比较长)

$>bazel build tensorflow_serving/...
4. 测试安装
$>bazel test tensorflow_serving/...
5. 训练模型（使用原包有的训练数据）
删除／tmp/mnist_model/路径下的东西，因为该路径会被用来存储训练好的模型

$>rm -rf /tmp/mnist_model 

$>bazel build //tensorflow_serving/example:mnist_saved_model
$>bazel-bin/tensorflow_serving/example/mnist_saved_model /tmp/mnist_model
Training model...

...

Done training!
Exporting trained model to /tmp/mnist_model
Done exporting!

6.查看训练好的模型

$>ls /tmp/mnist_model
1

7.启动服务

$>bazel build //tensorflow_serving/model_servers:tensorflow_model_server
$>bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server --port=9000 --model_name=mnist --model_base_path=/tmp/mnist_model/

8.客户端调用model

$>bazel build //tensorflow_serving/example:mnist_client
$>bazel-bin/tensorflow_serving/example/mnist_client --num_tests=1000 --server=localhost:9000
...
Inference error rate: 10.5%

tf-serving优势：
多版本支持
多模型
支持batching