MLSQL-Engine
1. clone项目
git clone https://github.com/allwefantasy/streamingpro.git
2. 编译
NOTE: jar包版本以代码为准，
以下示例代码版本为1.3.0-SNAPSHOT
spark版本为2.4.0
cd streamingpro
export MLSQL_SPARK_VERSION=2.4
./dev/package.sh
你会在如下目录发现一个jar包（大概280多M）：
streamingpro-mlsql/target/streamingpro-mlsql-spark_2.4-1.3.0-SNAPSHOT.jar
3. 创建一个发行包：
mkdir -p /tmp/mlsql-server/libs
cp streamingpro-mlsql/target/streamingpro-mlsql-spark_2.4-1.3.0-SNAPSHOT.jar /tmp/mlsql-server/libs
cp dev/start-local.sh /tmp/mlsql-server
cd /tmp/mlsql-server
4. 本地运行（本地运行需指定spark环境）
export SPARK_HOME=~/Softwares/spark-2.4.0-bin-hadoop2.7
./start-local.sh
这个时候可以访问 127.0.0.1:9003了；
MLSQL Cluster
cluster 和engine在同一个项目里。
1. 编译
cd streamingpro
mvn -DskipTests -Pcluster-shade -am -pl streamingpro-cluster clean package
编译完成后，在target 目录会有如下文件：
streamingpro-cluster/target/streamingpro-cluster-1.3.0-SNAPSHOT.jar
2. 准备Mysql
- 创建MySQL数据库，数据库名字为mlsql_cluster
- 根据
streamingpro-cluster/src/main/resources/db.sql创建对应的库表。 - 注意source sql文件的路径。
CREATE DATABASE IF NOT EXISTS mlsql_cluster DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
source streamingpro-cluster/src/main/resources/db.sql
3. 创建一个发行包
#make sure you are in streamingpro-cluster
cd streamingpro-cluster/
mkdir -p /tmp/mlsql-cluster/
cp target/streamingpro-cluster-1.3.0-SNAPSHOT.jar /tmp/mlsql-cluster/
cp dev/mlsql-cluster-docker/start.sh /tmp/mlsql-cluster
4. 本地运行
- 需要修改application.docker.yml 配置中的数据库地址和密码
cp dev/mlsql-cluster-docker/application.docker.yml /tmp/mlsql-cluster
cd /tmp/mlsql-cluster
## 修改application.docker.yml 数据库地址和密码
vi /tmp/mlsql-cluster/application.docker.yml
export MLSQL_CLUSTER_CONFIG_FILE=application.docker.yml
export MLSQL_CLUSTER_JAR=streamingpro-cluster-1.3.0-SNAPSHOT.jar
./start.sh
这个时候查看 127.0.0.1:8080是否可以访问。
MLSQL-Console
1. clone项目
git clone https://github.com/allwefantasy/mlsql-api-console.git
2. 编译打包
mvn clean package -Pshade
这个时候在target目录有个文件：
target/mlsql-api-console-1.3.0-SNAPSHOT.jar
3. 准备Mysql
- 创建MySQL数据库，数据库名字为mlsql_console
- 根据
src/main/resources/db.sql创建对应的库表。 - 注意source sql文件的路径。
CREATE DATABASE IF NOT EXISTS mlsql_console DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
source src/main/resources/db.sql
4. 创建发型包
cd mlsql-api-console
mkdir -p /tmp/mlsql-console/
cp target/mlsql-api-console-1.3.0-SNAPSHOT.jar /tmp/mlsql-console/
cp dev/docker/start.sh /tmp/mlsql-console/
5. 本地运行
- 需要修改application.docker.yml 配置中的数据库地址和密码
cp dev/docker/application.docker.yml /tmp/mlsql-console/
cd /tmp/mlsql-console/
## 修改配置文件数据库地址，账号和密码
vi /tmp/mlsql-console/application.docker.yml
export MLSQL_CONSOLE_JAR="mlsql-api-console-1.3.0-SNAPSHOT.jar"
export MLSQL_CLUSTER_URL=http://127.0.0.1:8080
export MY_URL=http://127.0.0.1:9002
## mac下请换目录
export USER_HOME=/home/users
## 是否开启权限控制
export ENABLE_AUTH_CENTER=false
export MLSQL_CONSOLE_CONFIG_FILE=application.docker.yml
./start.sh
现在可以访问 127.0.0.1:9002了。
我还想DIY前端咋办？
- clone 项目
git clone [email protected]:allwefantasy/mlsql-web-console.git
- 安装和编译
npm install
npm run build
- 拷贝前端文件到MLSQL-Console里
rm -rf ${MLSQL_CONSOLE_HOME}/src/main/resources/streamingpro/assets/*
cp -r build/* ${MLSQL_CONSOLE_HOME}/src/main/resources/streamingpro/assets/*
预编译发型包
移步： http://download.mlsql.tech
ChatRoom
image
image