DataX的环境搭建以及简单测试

DataX的环境搭建以及简单测试

一、什么是DataX

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
（这是一个单机多任务的ETL工具）

DataX的安装

一、前置条件
　　JDK(1.8以上，推荐1.8)
　　Python(推荐Python2.6.X)
　　Apache Maven 3.x (Compile DataX)
查看自有版本是否符合要求（下面附上安装链接）
JDK版本查看

java -version

Python版本查看（通常虚拟机自带版本2.x）

python --version

Maven版本查看

mvn -v

安装链接

1. 安装JDK：https://blog.csdn.net/qq_32786873/article/details/78749384
2. 安装python：https://www.cnblogs.com/MWCloud/p/11354591.html
3. 安装maven：https://www.howtoing.com/install-apache-maven-on-centos-7

二、开始安装
1.下载DataX安装包：https://github.com/alibaba/DataX/blob/master/userGuid.md
2.用Xftp将安装包传输至 usr/local 目录下
3.解压

tar -zxvf datax.tar.gz

4.进入datax的bin目录下，自检脚本

cd /usr/local/datax/bin
python datax.py ../job/job.json

出现以下界面，则表示DataX安装成功

测试：利用DataX同步数据

配置测试样例：下面我们配置一组 从mysql数据库到另一个mysql数据库。

第一步创建作业的配置文件(json格式)

可以参考：https://github.com/alibaba/DataX 自行配置

根据配置模板填写相关选项
根据模板配置json文件(mysql2mysql.json)如下：

{
    "job": {
        "content": [
            {
                  "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                    "column": ["id","name"],
                    "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://192.168.155.56:3306/test"],
                                "table": ["test"]
                            }
                        ],
	    			   "username": "root",
                        "password": "123456",
                    }
                },
                "writer": {
                     "name": "mysqlwriter",
                     "parameter": {
                     "column": ["id","name","age"],
                     "connection": [
                            {
                                
                                "jdbcUrl": "jdbc:mysql://192.168.155.58/test",
                                "table": ["YOUR_TABLE"]
                            }
                        ],
                       "username": "root",
                        "password": "123456",
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

第二步、启动DataX

启动之前的数据库：

启动

cd {YOUR_DATAX_DIR_BIN}
python datax.py ../job/mysql2mysql.json

同步结束，显示日志如下：

再来看一下我们的数据库：

至此，mysql到mysql的数据传输已经完成。