datax梳理

一、启动
执行
python datax.py {job.json}
python需要2.7版本（Linux环境下自带无需安装，windows环境需要安装）

二、datax.py文件
datax 是使用Java编写的，datax.py仅仅是为了快速构建Java的启动命令。

image.png

我们可以把命令打印出来：

java -server -Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=D:\devlop\datax\datax/log -Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=D:\devlop\datax\datax/log -Dloglevel=info -Dfile.encoding=UTF-8 -Dlogback.statusListenerClass=ch.qos.logback.core.status.NopStatusListener -Djava.security.egd=file:///dev/urandom -Ddatax.home=D:\devlop\datax\datax -Dlogback.configurationFile=D:\devlop\datax\datax/conf/logback.xml -classpath D:\devlop\datax\datax/lib/*  -Dlog.file.name=datax\bin\mysql_json com.alibaba.datax.core.Engine -mode standalone -jobid -1 -job D:\devlop\datax\datax\bin\mysql.json

有时候在windows环境下，为了防止安装python，可以拿到了这个命令，我们也可以手动去启动Java程序。
在linux环境下自带python2.7，无需安装。

三、源码梳理
从Java启动命令，我们得知，Java启动类是：com.alibaba.datax.core.Engine
源码主要分三个部分：Reader、Framework、Writer

image.png

image.png

image.png

image.png

image.png

image.png

以上内容来自：https://juejin.cn/post/7006658351375335431

下面我来梳理下我这边梳理的部分：
任务拆分：
（1）datax分两种写入模式：表模式、自己写的querySql模式。（仅表模式datax才会并发执行，写的sql不会生效）

image.png

image.png

当是表模式以后，如果想要拆分，配置文件需要指定主键列（如果要增加过滤条件，可配置where字段）：

image.png

datax会通过执行 下图中的sql语句查询数据库有多少数据。

image.png

拆分的任务数 = (channel/tableNum)向上取整*splitFactor
根据拆分的任务数，计算出步长，组装出多个sql，如下图。

image.png

最终执行sql如下：

image.png

写同样也会split成相同数量的任务：

image.png

执行任务的是TaskGroupContainer，会依次根据拆分的任务，执行N次doStart,具体doStart如下：

image.png

writerThread和readerThread对应的Runnerable分别为ReaderRunner和WriterRunner:

image.png

这里你可能和我有一个疑问：doRead和doWrite线程同时启动，如何保证写的时候能拿到读的数据？

image.png

通过notEmpty条件锁来控制

image.png

image.png

在写入读取的过程中，datax会进行汇报，汇报其中对一个对象进行写，主线程在轮流读。汇报类：

image.png

写入逻辑（单个任务）：
（1）首先尝试使用批量插入（此时是会开启事务的）：

image.png

批量执行内部逻辑：

image.png

（2）如果批量失败，再执行逐步插入（此时不开启事务）

image.png

（3）仍然失败，打印错误日志

image.png

此时，就可能会造成数据丢失（也可以是由于数据已经存在了，报错不用理会），如果是数据丢失可能需要人工介入。

从源码阅读中得出结论：多个Task同时执行是不能保证所有Task的一致性的，如果希望强一致，尽可能不要拆任务，或是调用方检测到异常重试多跑几次。重试多跑datax是不会重复入库的。