大数据采集平台之ZDH_SERVER部署

目录

 

项目源码

下载源码

打包

部署

运行


项目源码

数据采集平台管理端

https://github.com/zhaoyachao/zdh_web

数据采集平台服务

https://github.com/zhaoyachao/zdh_server

web端在线查看

http://zycblog.cn:8081/login

用户名:zyc
密码:123456

界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情

如果觉得项目不错记得分享给同伴和点star!!!

SERVER端安装

1 基础构建环境

  gradle: 4.10.2

  jdk:jdk8

  mysql8或者mariadb10.2.14+

  git:选择性安装看个人需要

下载源码

 

1 http下载:https://github.com/zhaoyachao/zdh_server.git

2 git 下载:git clone https://github.com/zhaoyachao/zdh_server.git

打包

进入下载好的项目目录下执行,所有的jar 会在release 目录下生成

 windows:

gradlew.bat release -x test

 linux:

./gradlew release -x test

 

部署

  1: 先安装 2.4.4 版本spark,这里不具体介绍spark 安装

  2:修改release/bin 目录下的start_server.sh 脚本 中BASE_RUN_PATH 路径为release 目录

  3:修改release/conf 目录下 log4j.properties 中数据库连接,datasource.properties 中数据连接 同样修改

  4:修改application.conf 文件中online 参数为1, 默认为0 不可被zdh_web 发现

运行

 进入release/bin 目录执行start_server.sh 脚本,默认单机后端执行,如果需要连接已有yarn 集群修改start_server.sh 脚本中的spark-submit 部分

sh start_server.sh

 

 

你可能感兴趣的:(etl,数据采集,大数据spark,spark,etl,数据采集,spark,etl)