datax3.0 无法连接数据库记录排错过程
数据环境
- DataX安装环境：win10
- 源数据库：云主机，MySQL8.0.18
- 目标数据库：云主机，MySQL8.0.18
软件环境
- DataX需求环境（参见dataX官网）：
- JDK(1.8以上，推荐1.8)
- Python(推荐Python2.6.X)
- Apache Maven 3.x (Compile DataX)
配置源库和目标库
- 切换到datax的安装目录
cd F:\datax
- 查看配置文件模板命令
python bin/datax.py -r mysqlreader -w mysqlwriter
模板如下：
DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
Please refer to the mysqlreader document:
https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md
Please refer to the mysqlwriter document:
https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md
Please save the following configuration as a json file and use
python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json
to run the job.
{
"job": {
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"column": [],
"connection": [
{
"jdbcUrl": [],
"table": []
}
],
"password": "",
"username": "",
"where": ""
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"column": [],
"connection": [
{
"jdbcUrl": "",
"table": []
}
],
"password": "",
"preSql": [],
"session": [],
"username": "",
"writeMode": ""
}
}
}
],
"setting": {
"speed": {
"channel": ""
}
}
}
}
-
创建配置文件
具体配置项目说明参见官网 https://github.com/alibaba/DataX
-
将上面配置模板copy下来放在配置json文件中后，进行以下改写：
{
"job": {
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"column": [这里需要所有列的话可以直接填"*"，否则需要自己填写每个需要的列],
"connection": [
{
"jdbcUrl": [
"jdbc:mysql://ip:端口/数据库名?userSSL=false&serverTimezone=UTC"
],
"table": ["表名"]
}
],
"password": "密码",
"username": "用户名",
"where": "查询条件，没有可为空，例子：date_time <= DATE_FORMAT($(date_time),'%Y-%m-%d')"
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"column": [
"id",
"name"
],
"connection": [
{
"jdbcUrl": "jdbc:mysql://127.0.0.1:3306/test?userSSL=false&serverTimezone=UTC", （这里数据库版本为8.0以上的，数据库名后面必须加上两个参数，不然会报错的）
"table": [
"test_db"
]
}
],
"password": "root",
"preSql": [],
"session": [],
"username": "root",
"writeMode": "insert"
}
}
}
],
"setting": {
"speed": {
"channel": "1"
}
}
}
}
第一次运行
- 执行命令：
python bin/datax.py job/mysql2mysql.json
果不其然报错了：
按照报错信息开始分析原因
- 确认配置文件中所有参数没有误写的情况，进入下一步
-
校验数据库是否可以正常连接，如正常进入下一步
1、确认mysql数据库版本（我这里的mysql版本为8.0.18）
2、查询相关问题后得知，datax3.0的mysql驱动包是不支持mysql8.0以上版本的，所以我这里将datax的mysql驱动包进行更新替换
- 根据mysql数据库版本进行下载对应的mysql驱动包，下载地址：https://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-8.0.18.zip
- 解压后进行替换 datax\plugin\reader\mysqlreader\libs\mysql-connector-java-5.1.34.jar 为mysql-connector-java-8.0.18.jar
第二次运行
- 执行命令：
python bin/datax.py job/mysql2mysql.json
emmm…还是报错：
按照报错信息开始分析原因
报错信息显示jdk版本不一致，所以我们打开终端输入一下命令：
java -version
这里我们可以看到jdk版本为1.7的，但是环境变量和本地的包都是1.8的，那么问题就知道了，win10系统中是有可能出现这样的问题的，如果是自己的电脑可以参考这个文章：https://www.cnblogs.com/zhangzhonghui/p/10678028.html
如果自己没有权限的话，那就好办了，让系统管理员安排一下，嘿嘿~
成功解决上述问题后
第三次运行
- 执行命令：
python bin/datax.py job/mysql2mysql.json
Nice！成功！
最后，datax中的where条件是可以使用动态传参的形式进行运行的，也可以实现多表同步实现，详细介绍：http://www.lhtry.net/blog/detail/29