DataX 实战使用说明

DataX是阿里巴巴集团内部被广泛使用的离线数据同步工具/平台，实现包括MySQL，Oracle，SqlServer，Postgre，HDFS，Hive，ADS，HBase，TableStore（OTS），MaxCompute（ODPS），DRDS等各种异种构数据源之间高效的数据同步功能。

DataX官网https://github.com/alibaba/DataX

System Requirements:

1. Linux or(Windows)
2. JDK1.8(或以上)
3. Python环境(推荐2.6.X)

工具部署

• 方法一:

1. Linux中使用,可直接下载DataX下载地址
2. 下载后解压至本地某个目录，进入bin目录，即可运行同步作业：

$ cd  {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}

1. 自检脚本: (data文件夹下的job目录)

$ python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json

• 方法二:下载DataX源码，自己编译：DataX源码

1. 下载DataX源码：

$ git clone [email protected]:alibaba/DataX.git

2. 通过maven打包：

$ cd  {DataX_source_code_home}
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true

注意: Maven中setting的镜像需要有阿里云镜像,其次,打包clickhouse报错可去issues中查找,Pom.xml中有个clickhousewriter可以注释掉,不编译.