MLSQL实战--利用docker快速搭建MLSQL运行环境

摘要

MLSQL依赖于Spark，而且算法模块依赖于conda来管理python包。本文将介绍如何用docker快速搭建mlsql的运行环境。

快速启动

运行docker命令

我们可以直接采用下列命令启动一个mlsql服务。

docker run -d --name mlsql-server -p 9003:9003 mlsql/mlsql-solo:1.1.4_spark-2.3.2 /app/streamingpro/start-local.sh

NOTE: 后续我们的release版本都会发布到hub.docker.com

访问服务

我们可以访问http://localhost:9003/#/页面来访问服务。

MLSQL运行页面

如果需要查看日志，请运行：

docker logs -f mlsql-server

构建最新镜像

公网仓库我们只会发布release版本的服务镜像，接下来我们将介绍如何发布最新版本的docker镜像。

环境准备

• docker
• java
• maven

构建最新mlsql运行环境

下载mlsql工程

git clone https://github.com/allwefantasy/streamingpro.git
cd streamingpro

构建镜像

进入工程目录，运行docker镜像构建命令。

docker build -t mlsql-base:v1 dev/docker

或者直接从hub.docker.com拉取

docker pull mlsql/mlsql-base

查看镜像。

 docker images | grep mlsql

REPOSITORY                                                   TAG                 IMAGE ID            CREATED             SIZE
mlsql-base                                                   v1                  9fdd4bd7c470        2 weeks ago         813MB

打包mlsql项目

以1.1.4版本为例，我们将mlsql工程打包成可执行的tgz包。

切换到1.1.4版本

gco v1.1.4

maven打包

mvn -DskipTests clean package \
-Pspark-2.3.0 \
-Pstreamingpro-spark-2.3.0-adaptor \
-Ponline \
-Pscala-2.11 \
-Pdsl \
-Passembly \
-Pcrawler \
-Phive-thrift-server \
-Pautoml \
-Pxgboost \
-Pcarbondata

启动服务

docker run -it -v ${PWD}:/app -p 9003:9003 mlsql/mlsql-base:v1 /app/streamingpro/start-local.sh

Enjoy