flask快速搭建tensorflow http服务

tensorflow是目前最受欢迎的deep learning框架之一，在学术界和产业界都有广泛的使用。在如何部署tensorflow模型提供远程调用服务方面官方提供了tensorflow serving框架，详细的介绍可以参考官网资料：https://tensorflow.github.io/serving/。本文主要介绍另一条部署服务的途径：利用flask快速搭建tensorflow http服务。

        对于使用Python的同学来说，用flask搭建tensorflow http服务非常方便，而且不需要依赖太多的第三方插件。下面以一个简单的例子介绍具体的步骤：

1、 非阻塞异步flask服务：

import os
from gevent import monkey
monkey.patch_all()
from flask import Flask, request
from gevent import wsgi
import tensorflow as tf

os.environ["CUDA_VISIBLE_DEVICES"] = "" #不使用GPU
a = tf.placeholder(tf.int32, shape=(), name="input")
asquare = tf.multiply(a, a, name="output")
sess = tf.Session()  # 创建tensorflow session，也可以在这里载入tensorflow模型

app = Flask(__name__)

@app.route('/')
def index():
    return 'Hello World'

@app.route('/hello')
def response_request():
    num = request.args.get('num')
    for i in range (100):
        ret = sess.run([asquare], feed_dict={a: num})  #运行tensorflow模型
    return str(ret)

if __name__ == "__main__":
    server = wsgi.WSGIServer(('127.0.0.1', 19877), app)
    server.serve_forever()

2、gunicorn配置文件：如果只需要提供单线程http服务，直接运行上面那段代码即可，但是如果要运行多进程，则需要用gunicorn来启动多个进程，gunicorn配置文件模板如下：

import os
bind = '0.0.0.0:19879'    #绑定的ip及端口号，0.0.0.0表示接收任意ip的http请求
workers = 10        #进程数
backlog = 2048        #监听队列
worker_class = "gevent"        #使用gevent模式，还可以使用sync 模式，默认的是sync模式
debug = True
chdir = '/.../test'#你项目的根目录,比如我的app.py文件在/home/ubuntu/app目录下，就填写'/home/ubuntu/app'
proc_name = 'gunicorn.proc'

3、 启动多进程服务：

gunicorn -k gevent -c gun_basic.conf gevent_basic:app

其中：

gun_basic.conf：gunicorn配置文件
gevent_basic：启动gevent服务python文件
app：Flask实例

在浏览器中输入 127.0.0.1:19879/hello?num=10 可以看到返回结果 [100]。