DataX的环境搭建以及简单测试

DataX的环境搭建以及简单测试

一、什么是DataX

DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
(这是一个单机多任务的ETL工具)

DataX的安装

一、前置条件
  JDK(1.8以上,推荐1.8)
  Python(推荐Python2.6.X)
  Apache Maven 3.x (Compile DataX)
查看自有版本是否符合要求(下面附上安装链接)
JDK版本查看

java -version

Python版本查看(通常虚拟机自带版本2.x)

python --version

Maven版本查看

mvn -v

安装链接

  1. 安装JDK:https://blog.csdn.net/qq_32786873/article/details/78749384
  2. 安装python:https://www.cnblogs.com/MWCloud/p/11354591.html
  3. 安装maven:https://www.howtoing.com/install-apache-maven-on-centos-7

二、开始安装
1.下载DataX安装包:https://github.com/alibaba/DataX/blob/master/userGuid.md
2.用Xftp将安装包传输至 usr/local 目录下
3.解压

tar -zxvf datax.tar.gz

4.进入datax的bin目录下,自检脚本

cd /usr/local/datax/bin
python datax.py ../job/job.json

出现以下界面,则表示DataX安装成功
DataX的环境搭建以及简单测试_第1张图片

测试:利用DataX同步数据

配置测试样例:下面我们配置一组 从mysql数据库到另一个mysql数据库。

第一步创建作业的配置文件(json格式)

可以参考:https://github.com/alibaba/DataX 自行配置
DataX的环境搭建以及简单测试_第2张图片
根据配置模板填写相关选项
根据模板配置json文件(mysql2mysql.json)如下:

{
    "job": {
        "content": [
            {
                  "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                    "column": ["id","name"],
                    "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://192.168.155.56:3306/test"],
                                "table": ["test"]
                            }
                        ],
	    			   "username": "root",
                        "password": "123456",
                    }
                },
                "writer": {
                     "name": "mysqlwriter",
                     "parameter": {
                     "column": ["id","name","age"],
                     "connection": [
                            {
                                
                                "jdbcUrl": "jdbc:mysql://192.168.155.58/test",
                                "table": ["YOUR_TABLE"]
                            }
                        ],
                       "username": "root",
                        "password": "123456",
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

第二步、启动DataX

启动之前的数据库:
DataX的环境搭建以及简单测试_第3张图片
启动

cd {YOUR_DATAX_DIR_BIN}
python datax.py ../job/mysql2mysql.json

同步结束,显示日志如下:
DataX的环境搭建以及简单测试_第4张图片
再来看一下我们的数据库:
DataX的环境搭建以及简单测试_第5张图片
至此,mysql到mysql的数据传输已经完成。

你可能感兴趣的:(DataX)