DataX初体验-python命令启动以及纯java启动

一、DataX安装

官网描述很详细，很简单---->DataX安装

二、使用示例：从Oracle数据库导数据到Mysql数据库

事先准备：

Oracle数据库的ORDER_INFO表，MySQL数据库的order_info表，表结构相同

2.1使用Python启动

• 生成模板文件
  打开安装目录的bin，使用命令python datax.py -r {YOUR_READER} -w {YOUR_WRITER}生成模板文件，由于我是要从Oracle读数据到MySQL，所以我的生成模板命令如下:(DataX支持的reader和writer )

$ cd {YOUR_DATAX_DIR_BIN}
$ python datax.py -r oraclereader -w mysqlwriter

• 根据生成的模板文件，填充自己的json文件
  我按照实际情况填充后如下：

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "oraclereader",
                    "parameter": {
                        "column": ["*"],
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:oracle:thin:@192.168.123.34:1521:ocm"],
                                "table": ["ORDER_INFO"]
                            }
                        ],
                        "password": "admin",
                        "username": "***"
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "column": ["*"],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://192.168.211.56:3306/test_datax?characterEncoding=utf8",
                                "table": ["order_info"]
                            }
                        ],
                        "password": "datax01",
                        "preSql": [],
                        "session": [],
                        "username": "datax01",
                        "writeMode": "insert"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "5"
            }
        }
    }
}

保存为oracle2mysql.json文件于{YOUR_DATAX_DIR_BIN}目录

• 启动DataX，开始传输

$ cd {YOUR_DATAX_DIR_BIN}
$ python datax.py ./oracle2mysql.json 

同步结束，显示如下日志：

2018-09-18 14:31:15.200 [job-0] INFO  JobContainer -
任务启动时刻                    : 2018-09-18 14:31:02
任务结束时刻                    : 2018-09-18 14:31:15
任务总计耗时                    :                 12s
任务平均流量                    :          228.64KB/s
记录写入速度                    :            495rec/s
读出记录总数                    :                4953
读写失败总数                    :                   0

2.2使用Java启动

从github上将DataX的源码clone到本地，DataX的入口类是core包下面的alibaba.datax.core.Engine.main()方法。
根据datax.py文件的以下几行配置项目的参数

DEFAULT_JVM = "-Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=%s/log" % (DATAX_HOME)
DEFAULT_PROPERTY_CONF = "-Dfile.encoding=UTF-8 -Dlogback.statusListenerClass=ch.qos.logback.core.status.NopStatusListener -Djava.security.egd=file:///dev/urandom -Ddatax.home=%s -Dlogback.configurationFile=%s" % (
    DATAX_HOME, LOGBACK_FILE)
ENGINE_COMMAND = "java -server ${jvm} %s -classpath %s  ${params} com.alibaba.datax.core.Engine -mode ${mode} -jobid ${jobid} -job ${job}" % (
    DEFAULT_PROPERTY_CONF, CLASS_PATH)

• 配置JVM参数如下
  -Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath={DATAX_HOME}/log

• 配置环境变量
  -Dfile.encoding=UTF-8 -Dlogback.statusListenerClass=ch.qos.logback.core.status.NopStatusListener -Djava.security.egd=file:///dev/urandom -Ddatax.home=%s -Dlogback.configurationFile=%s"
  去掉-D，配置在
  

  

  image.png

• 配置启动项
  从Engine类的第124行到126行可以看出，启动项需要配置三个参数：mode、jobid和job，jobid如果不配置的话默认为-1，但是只有mode是standalone模式时，jobid才能取-1的值，job配置了json文件位置

        options.addOption("job", true, "Job config.");
        options.addOption("jobid", true, "Job unique id.");
        options.addOption("mode", true, "Job runtime mode.");

以我的情况为例：
-mode standalone -jobid -1 -job \...\oracle2mysql.json

• 启动java项目
  直接在idea里面运行项目，控制台最后输出一下日志：

15:21:08.806 [job-0] INFO  c.a.datax.core.job.JobContainer - 
任务启动时刻                    : 2018-09-18 15:20:36
任务结束时刻                    : 2018-09-18 15:21:08
任务总计耗时                    :                 31s
任务平均流量                    :           76.27KB/s
记录写入速度                    :            165rec/s
读出记录总数                    :                4956
读写失败总数                    :                   0