同步数据库神器DataX

DataX同步数据步骤很简单,其他不少人,写的华丽呼哨,自己总结一篇。试了window 估计linux 一样,步骤如下

1.下载 DataX 解压,配置json,使用命令行同步

安装DataX要求
python 2或者3
JDK

下载地址
链接: http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
失效直接在github搜索 DataX 下载就行了
自己整理的文档,失效 滴滴我 下载地址:
链接: datax python3用法和使用总结

解压出来是这样
同步数据库神器DataX_第1张图片

然后打开 打开 datax/bin文件夹,再这个目录下面cmd执行脚本命令
python datax.py test.json同步数据库神器DataX_第2张图片

中文乱码 处理 回车就不是中文乱码了。
同步数据库神器DataX_第3张图片
然后就能同步完成了

同步数据库神器DataX_第4张图片

说明:
datax.py 启动的脚本
test.json 为配置文件
json说明.txt 是配置文件的说明文件
python2 版本 是安装了python2的就用python2里面的py文件拖出来执行
python3 版本 是安装了python3的就用python3里面的py文件拖出来执行

test.json 为配置文件

{
    "job": {
        "content": [
            {
                  "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                           "column": ["*"],
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://localhost:3306/light_attenuation?serverTimezone=UTC&characterEncoding=utf-8"],
                                "table": ["query_device"]
                            }
                        ],
                        "password": "root",
                        "username": "root",
                        
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
					"writeMode": "replace",
                    "parameter": {
                        "column": ["*"],
						"preSql": [
                            "delete from query_device" 
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://10.180.5.15:3306/light_attenuation?serverTimezone=UTC&characterEncoding=utf-8",
                                "table": ["query_device"]
                            }
                        ],
                        "password": "root",
                        "username": "root",
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "5"
            }
        }
    }
}

json说明.txt 是配置文件的说明文件


{
    "job": {
        "content": [
            {
                  "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                           "column": ["*"],
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://localhost:3306/light_attenuation?serverTimezone=UTC&characterEncoding=utf-8"],
                                "table": ["query_device"]
                            }
                        ],
                        "password": "root",
                        "username": "root",
                        
                    }
                },
                "writer": {
                    "name": "mysqlwriter", // mysql写入对应的驱动名称 
					"writeMode": "insert",  //insert/replace/update
                    "parameter": {
                        "column": ["*"],
						"preSql": [
                            "delete from query_device"  // 删除再同步
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://10.180.5.15:3306/light_attenuation?serverTimezone=UTC&characterEncoding=utf-8",
                                "table": ["query_device"]
                            }
                        ],
                        "password": "root",
                        "username": "root",
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "5"
            }
        }
    }
}

你可能感兴趣的:(java,数据库,java,python,开发工具)