DataX的简单使用(linux)

使用条件

• python版本(本人使用centos7默认安装的python版本2.7.5)
• datax工具包(http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz)
• jdk1.8
• 数据同步的两个表的结构及字段类型要一致或者兼容

使用步骤

1. 解压datax工具到指定目录(自定义,没有硬性要求,可以自己创建),解压后目录结构如下
   
2. 编写数据同步脚本(模板如下)
   mysql.json(数据库连接的是在linux上安装的mysql,创建了两个库,方便操作)
   

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": [
							"id",
                            "name",
							"age",
							"sex"
						], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/test"], 
                                "table": ["student"]
                            }
                        ], 
                        "password": "root", 
                        "username": "root"
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
							"id",
                            "name",
							"age",
							"sex"
						], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/demo", 
                                "table": ["student"]
                            }
                        ], 
                        "password": "root", 
                        "username": "root"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

3. 执行(需要在datax工具解压后目录的bin目录下进行执行mysql.json)
   为了执行方便,我把mysql.json放在了bin目录下
   如果在其他目录,执行时对应路径即可
   

同步命令

python datax.py 同步脚本

执行成功显示如下