datax 学习记录

• 初识

  DataX是由阿里巴巴研发并开源的一个异构数据源离线同步工具，DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS等各种异构数据源之间高效的数据同步功能。

• 了解datax基本概念和下载方式

   参考：https://zhuanlan.zhihu.com/p/564944396 

• datax源码下载和编译 （编译后的文件内容可以与第一点同步看）

   参考：Springboot集成datax方案

• springboot集成datax （三个同步看）

   参考：Springboot集成datax方案

   参考：https://blog.csdn.net/l2931050/article/details/124238427

   参考：https://mp.weixin.qq.com/s/ZF8tjxGEQrPPUw1GxVVXOA

问题：

   没懂System.setProperty("datax.home", dataxHome); datax.home值怎么定义的（有博主说是datax下载后，本地的存储地址，但测试环境是怎么定义的？）-----经过测试，如果已经在本地项目中导入的datax相关jar 包，datax.home值也可以是本地项目datax文件的绝对路径，只找到了获取classes文件的绝对路径方法（没有找到获取src--main--java下datax目录的方法），所以把本地的datax文件放到resources目录下。也可以使用datax下载后，解压后本地的存储地址。两种方式都可以。

• 答疑解惑：Java集成datax

 https://blog.csdn.net/weixin_34390105/article/details/89627226

 https://blog.csdn.net/dz77dz/article/details/106055693

 IDEA运行DataX完整流程（填完所有的坑）

• 从mysql到mysql数据读取到写入，同步表数据配置data.json具体值的定义及使用：

  https://www.cnblogs.com/EnzoDin/p/9979638.html

• json文件中的WriteModel详解（insert\update区别）

  https://blog.csdn.net/shenshengsu1990/article/details/120163634

注：如果使用update，且同步到mysql库中，因为执行ON DUPLICATE KEY UPDATE语句时，mysql是通过主键或者唯一索引来判断两条数据是否重复，然后做更新/新增。