史上最简洁使用Tensorflow_model_server

最简洁使用Tensorflow_model_server

Tensorflow_model_server的目的是：

统一管理一个模型服务器，利于让他人使用这个模型，而且可以动态更新模型，模型也会常住在内存里面，加快结果输出，减少模型加载时间。

事先准备操作：

Tensorflow_model_server 安装：

参考：https://www.tensorflow.org/serving/setup

这里会有一个坑: 直接pip intall tensorflow-model-server 的时候它会显示已经安装完，但是实际上还是没有找到这个库，处理方法是，先把原来的 tensorflow-model-server给uninstall 再按安装库上面安装即可。

启动 tensorflow_model_server :

tensorflow_model_server

--port=端口号 8000

--model_name=模型名称 例:256

--model_base_path=绝对路径 例: /notebooks/animieGan/TwinGAN/export

正常情况下：

异常情况：
它回报找不到模型，检查下路径是否是绝对路径

这样就启动完了 tensorflow_model_server

编写客户端：

引入头文文件：
如果没找到，就通过pip安装：

import numpy as np
import scipy.misc
import tensorflow as tf

from grpc.beta import implementations
from tensorflow_serving.apis import predict_pb2  # pip install tensorflow-serving-api
from tensorflow_serving.apis import prediction_service_pb2
from PIL import Image
import sys

tf.app.flags.DEFINE_string('server', '10.11.32.51:8000',
                           'twingan_server host:port')
tf.flags.DEFINE_integer('gpu', -1,
                        'GPU ID (negative value indicates CPU)')
FLAGS = tf.app.flags.FLAGS
output_dir = './'

def main(_):
	image_hw = 256
	raw_image = Image.open('./78ae254bdcc94ffc5e8a921923a8d266.jpg')
	image_resized =  raw_image.resize((image_hw, image_hw), Image.BICUBIC)

	input_image =   np.expand_dims(image_resized / np.float32(255.0), 0)


	#input_image = np.reshape(int_image, 927696).astype(np.float32)
	host, port = FLAGS.server.split(':')
	print('GPU: {}'.format(FLAGS.gpu))
	channel = implementations.insecure_channel(host, int(port))
	
	stub = prediction_service_pb2.beta_create_PredictionService_stub(channel)
	request = predict_pb2.PredictRequest()
	request.model_spec.name = "256"
	request.model_spec.signature_name = "serving_default"
	request.inputs['inputs'].CopyFrom(tf.contrib.util.make_tensor_proto(input_image))

	result_future = stub.Predict.future(request, 15.0)  # 5 seconds
	exception = result_future.exception()
	if exception:
		print(exception)
	else:
		result_future.add_done_callback(doneJob(result_future))
	return 'hello wrod'

def doneJob(result_future):
	print("finish")
	sys.stdout.write('.')
	sys.stdout.flush()
        # TODO: do post-processing using another function.
	response_images = np.reshape(np.array(result_future.result().outputs['outputs'].float_val),[dim.size for dim in result_future.result().outputs['outputs'].tensor_shape.dim]) * 255.0
	scipy.misc.imsave('outfile2.jpg', response_images[0])


if __name__ == '__main__':
	tf.app.run()

	

核心是：

• 1.构造一个 request = predict_pb2.PredictRequest()
• 2.填充这个request的必要参数 比如image，数据
• 3.通过 prediction_service_pb2 来处理 2中的 request
• 4.接受流，生成 respone 看 doneJob
• 5.通过 tf.app.run() 启动进程

测试模型与启动代码:

模型地址https://drive.google.com/file/d/1C1tadCQjzsiW2GBeL8BbgfyKXKsoQCjJ/view
启动代码 python model_server.py --twingan_server=10.11.32.51:8000 --image_hw=256 --gpu=1