一、需求背景:人工智能训练好的模型model,需要放到服务器上,作为基础能力提供给应用侧,否则model只能中电脑本地处理。那么怎么解决这个部署到服务器上的问题呢?
二、解决思路:web应用部署,有3种主流的方式,
1.Django:大而全,集成了很多组件,属于全能型、重量级框架。
2.Falsk:小而轻,极容易上手,第三方提供的组件多,加起来可以完全覆盖Django。
3.Torando:高并发性能强,但是较为原始的框架,后期拓展可能会受限。
综上所述,选择Flask框架。
分2步实现:1是在本地先跑起来,2是放到云服务器上跑起来。
三、实现操作:
1.安装flask
pip install Flask
2.验证是否已经安装成功,若import没有报错,即是已经安装成功:
import flask
3.我用的是jupyter notebook环境,写一个简单的flask程序:
#export
# 【整体流程】
# 在app.py程序文件中,app是flask的实例,功能就是接受来自web服务器的请求,
# 1、浏览器将请求给web服务器,web服务器将请求给app ,
# 2、app收到请求,通过路由找到对应的视图函数,然后将请求处理,得到一个响应response
# 3、然后app将响应返回给web服务器,
# 4、web服务器返回给浏览器,
# 5、浏览器展示给用户观看,流程完毕。
# 【1、初始化】
# 所有的Flask都必须创建程序实例
# web服务器把客户端所有的请求都转发给这个程序实例,程序实例是Flask的对象
# 一般情况下用如下方法实例化
# Flask类只有一个必须指定的参数,即程序主模块或者包的名字,__name__是系统变量,该变量指的是本py文件的文件名
from flask import Flask
app = Flask(__name__)
# 【2、路由和视图函数】
# 客户端发送url给web服务器,web服务器将url转发给flask程序实例,程序实例
# 需要知道对于每一个url请求启动哪一部分代码,所以保存了一个url和python函数的映射关系。
# 处理url和函数之间关系的程序,称为路由
# 在flask中,定义路由最简便的方式,是使用程序实例的app.route装饰器,把装饰的函数注册为路由
@app.route('/')
def cdc_say():
return "Hello, Flask !"
@app.route('/angela')
def angela_say():
return "Hi, I'm angela !"
@app.route('/alex')
def alex_say():
return "Hay, I'm alex !"
# 【3、程序实例用run方法启动flask集成的开发web服务器】
# __name__ == '__main__'是python常用的方法,表示只有直接启动本脚本时候,才用app.run方法
# 如果是其他脚本调用本脚本,程序假定父级脚本会启用不同的服务器,因此不用执行app.run()
# 服务器启动后,会启动轮询,等待并处理请求。轮询会一直请求,直到程序停止。
if __name__ == '__main__':
print('dd',__name__)
app.run()
# app.run( )
4.跑起来,得到如下结果:
在Chrome浏览器地址栏输入: http://127.0.0.1:5000/
得到结果:Hello, Flask !
表明,已经在本地成功部署。
接下来是要将这个jupyter notebook文档转换成“app.py”文件,通过一个nb2py脚本实现:
import json,re
from typing import Dict
def is_export(cell: Dict) -> bool:
'''
use this function to determine whether
the code in current cell needs to be written to a pyfile.
'''
if cell['cell_type'] != 'code': return False
src = cell['source']
#import pdb; pdb.set_trace()
return re.match(r'^\s*#\s*export\s*$', src[0], re.IGNORECASE) is not None
def nbpy2py(fname :str) -> None:
'''
parse a nbpy file and convert
necessary part into a py file with thre same prefix_name.py.
'''
fname_result = 'nb_{}.py'.format(fname.split('.')[0])
# open the file and read it as a dic
nb_data = json.load(open(fname, 'r', encoding='utf-8'))
# get all the cells that needs to be exported
code_cells = [code_cell for code_cell in nb_data['cells'] if is_export(code_cell)]
py_file_content = ''
for cell in code_cells:
py_file_content += ''.join(cell['source'][1:]) + '\n\n'
# remove the trailing spaces
py_file_content = re.sub(r'\s+$', '', py_file_content, flags=re.MULTILINE)
with open(fname_result, 'w', encoding = 'utf-8') as f:
f.write(py_file_content)
print('coverted {} to {}'.format(fname, fname_result))
fname = 'app.ipynb'
nbpy2py(fname)
运行以上两段代码,得到:coverted app.ipynb to nb_app.py
同一个文件夹中,出现了app.py文件,表明app.py文件已经准备好。
5.通过Filezilla软件,给云服务器传送本地文件,Filezilla版本FileZilla_3.57.0_macosx-x86.app.tar。输入云服务器以下信息:
主机:云服务器的公网IP
用户:一般是root
端口号:一般是22,注意要去设置云服务器的安全组,要打开22端口,还有0.0.0.0/0的端口TCP:5000
密码:见云服务器的站内信的密码
Filezilla连接好云服务器后,将本地的app.py文件上传到云服务器的root文件夹下
在云服务器上的console输入以下代码,确保云服务器已经有Flask环境
pip install Flask
然后开始在云服务器上运行app.py文件
python app.py
在这里,要注意,还是不行的,因为flask在云服务器上没有绑定云服务器的内网ip。在云服务器的站内信找到云服务器的内网(注意不是公网)ip,修改app.py文件中,增加app.run()中host的ip。
app.run(host="172.16.0.14", port=5000, debug=True)
修改app.py文件后,上传到云服务器root文件夹中,再一次运行
python app.py
此时,在任何一台电脑的浏览器输入云服务器的公网ip xx.xx.xx.xx:5000 都会得到云服务器的响应。(若没有得到响应,检查一下云服务器的安全组,是否增加有规则 0.0.0.0/0的端口TCP:5000 放通)
小结:
1.选择Flask作为web部署的框架,轻便、可拓展性强、新手上手快。
2.本地部署测试app.py
3.app.py上传到云服务器,设置好安全组规则,设置host的ip和端口,完成云服务器端部署。