机器学习模型部署--打通前后端任督二脉

前言

学历与定位

近日在某论坛，有网友提问道：搞机器学习是不是要博士或是硕士学历，是不是要求很高，顶会论文？本科生或者更低学历的，是不是就没有机会了？从最近公司的招聘来看，算法工程师的 bar 确实有在提高。但在某些事业部，仍需要很大的人力来做落地场景。每个人都要找准自己的定位，公司也有它的部门定位。如果是发论文、要在学术界站稳脚跟，给投资人“我们很重视最新技术”的信心，那博士确实很重要。另一个角度，从实用角度来说，研究生和本科生可能性价比更高。当然，作为一个小本就工作的人，没有较为丰富的实战经验，有机会的话，还是拿到硕士及更高学历比较好。这里的实战经验就比如：搭建一个完整的、涉及算法模型、后端及前端的系统。

mobile.jpg

模型算法的实用主义

机器学习的实用主义，不是在论文多少，而是用正确的方法去解决正确的问题。而作为背后的工程师，除了调参、除了写 sql，做调包侠、做 sql boy、报表 boy 以外，在之前的文章也提到过，要学会做正确的展示，做全套的工程化实施。毕竟，等排期很难受；有些情况前后端资源不够，或者优先级很低，那就需要自己动手了。以下以上面的垃圾邮件分类为例子，说明该如何搭建一个前后端完整的机器学习系统。

关注微信公众号：谷粒先生，下载权重文件并第一时间获取更新。

这里将本次的任务拆解，分为三个部分来讲。后端 flask、前端 Vue、ML 模型采用 flair，项目地址 kuhung/flask_vue_ML

后端 flask

相关依赖的安装

pip install -r requirements.txt

核心函数

1. 导入函数包

from flask import Flask, jsonify, request
from flask_cors import CORS # 做跨域的准备
from flask import session # 追踪客户端会话

from flair.models import TextClassifier # 模型导入，采用前不久开源的 flair 做文本分类
from flair.data import Sentence

2. 准备工作

app = Flask(__name__) # 声明准备
app.secret_key = "super_secret_key"

CORS(app)
classifier = TextClassifier.load_from_file('models/best-model.pt') # 模型加载

3. 配置 flask 的路由

# 根路由配置
@app.route('/', methods=['GET'])
def index():
    return jsonify("welcome to Kuhung API")

# GET 方法，这里 session 的作用是追踪客户端会话，防止重复请求模型
@app.route('/api/tasks', methods=['GET'])
def get_result():
    result = []
    try:
        data_result = session['my_result']
        result.append ({'title': data_result['title'], 'tag': data_result['tag'] })
    except:
        result.append ({'title': 'The txt you input', 'tag': 'spam or ham' })
    return jsonify(result)

# POST 方法
@app.route('/api/task', methods=['POST'])
def input_predict_text():

    title = request.get_json()['title'] # 解析请求

    sentence = Sentence(title) # 对请求做数据预处理
    classifier.predict(sentence) # 调用模型，做预测，返回带标签的数据

    text = sentence.to_plain_string() # 解析出原始数据
    label = sentence.labels[0] # 解析出标签
    result = {'title' : text, 'tag' : label.value} # 拼接成字典格式
    session['my_result'] = result # 存入 session ，以减少重复请求对模型的压力
    
    return jsonify(result) # 返回 json 格式的数据

if __name__ == '__main__':
    app.run(debug=True)  # 开发过程中开启 debug 调试模式

启动服务

python app.py

前端 vue

前端采用 Vue 框架，与后端分离。使用 Webpack 进行资源管理与打包。

相关依赖的安装

npm install -g vue-cli
npm install

自定义组件

通过 vue init webpack flask_vue_ML 后，进入项目文件夹，增加自定义内容。

index.html

src 文件夹

• components
  • Home.vue // 自定义组件，增加
• router
  • index.js // 路由，修改
• App.vue // 主组件，修改
• main.js // 入口文件，修改

Home.vue

这里定义页面的基本样式，以及获取数据的逻辑。