datax_web搭建

datax_web的搭建

datax的部署

1. DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

2. 环境准备：
   JDK(1.8以上，推荐1.8)
   Python(推荐Python2.6.X)
   Apache Maven 3.x (Compile DataX)

3. github下载地址：https://github.com/alibaba/DataX

4. 快速搭建datax，下载时使用
   
   下载时使用方式一
   

5. 下载python
   下载地址：https://www.python.org/download/releases/2.7/
   此处的python选择2.7（3的版本未尝试），下载完后安装python

6. 解压datax的压缩包，执行bin中datax.py
   

python datax.py

datax_web的安装部署

1. DataX阿里的开源的时候并未提供任何可视化界面，我们在使用的过程中，需要将Json配置文件放到DataX的job路径下，随着业务的增加，配置文件不方便管理和迁移并且每次执行都需要记录命令。 目前DataX只支持单机版，多节点之间的协作不能控制，我们希望能有一款有友好的可视化界面，支持定时任务,支持分布式的数据同步利器，这也是该项目的目标。

2. github下载地址：https://github.com/WeiYe-Jing/datax-web

3. 将下载下来的项目导入，eclipse或者idea
   
   如图，该项目主要分为5个部分，主要的是要启动datax-admin和datax-executor
   导入的时候可能有报错，大部分问题都是maven包没有下载全
   （建议导入之后先在项目的主目录下使用 mvn install，这样基本上所有的依赖包都会install好）
   注： 项目中存在lombok包，如果没有下载该插件，需要补全log和类中缺少的set/get方法。
   

4. 执行数据库文件data_web.sql
   

5. 修改配置文件
   （1）修改datax-admin中的数据源配置
   
   （2）修改datax.py的地址
   
   将路径改成之前安装的datax的目录下面（简单来说，项目启动的时候会自动执行配置中datax.py）
   先启动admin,再启动executor

6. 下载前端项目
   gitlub地址：https://github.com/WeiYe-Jing/datax-vue-admin
   将项目导入vscode

7. 启动前端项目

npm install

npm run dev

访问地址：http://localhost:8082/
账号：admin
密码：123456

注：前端项目install可能会出现node-sass安装失败的问题
解决方案： 由于访问外网较慢，改为国内镜像，（对vue很熟悉的可忽略）先执行

npm install -g mirror-config-china --registry=http://registry.npm.taobao.org

再执行

npm install sass-loader node-sass -D