datax 整合 java_DataX初体验-python命令启动以及纯java启动
一、DataX安装
官网描述很详细，很简单---->DataX安装
二、使用示例：从Oracle数据库导数据到Mysql数据库
事先准备：
Oracle数据库的ORDER_INFO表，MySQL数据库的order_info表，表结构相同
2.1使用Python启动
生成模板文件
打开安装目录的bin，使用命令python datax.py -r {YOUR_READER} -w {YOUR_WRITER}生成模板文件，由于我是要从Oracle读数据到MySQL，所以我的生成模板命令如下:(DataX支持的reader和writer )
$ cd {YOUR_DATAX_DIR_BIN}
$ python datax.py -r oraclereader -w mysqlwriter
根据生成的模板文件，填充自己的json文件
我按照实际情况填充后如下：
{
"job": {
"content": [
{
"reader": {
"name": "oraclereader",
"parameter": {
"column": ["*"],
"connection": [
{
"jdbcUrl": ["jdbc:oracle:thin:@192.168.123.34:1521:ocm"],
"table": ["ORDER_INFO"]
}
],
"password": "admin",
"username": "***"
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"column": ["*"],
"connection": [
{
"jdbcUrl": "jdbc:mysql://192.168.211.56:3306/test_datax?characterEncoding=utf8",
"table": ["order_info"]
}
],
"password": "datax01",
"preSql": [],
"session": [],
"username": "datax01",
"writeMode": "insert"
}
}
}
],
"setting": {
"speed": {
"channel": "5"
}
}
}
}
保存为oracle2mysql.json文件于{YOUR_DATAX_DIR_BIN}目录
启动DataX，开始传输
$ cd {YOUR_DATAX_DIR_BIN}
$ python datax.py ./oracle2mysql.json
同步结束，显示如下日志：
2018-09-18 14:31:15.200 [job-0] INFO JobContainer -
任务启动时刻 : 2018-09-18 14:31:02
任务结束时刻 : 2018-09-18 14:31:15
任务总计耗时 : 12s
任务平均流量 : 228.64KB/s
记录写入速度 : 495rec/s
读出记录总数 : 4953
读写失败总数 : 0
2.2使用Java启动
从github上将DataX的源码clone到本地，DataX的入口类是core包下面的alibaba.datax.core.Engine.main()方法。
根据datax.py文件的以下几行配置项目的参数
DEFAULT_JVM = "-Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=%s/log" % (DATAX_HOME)
DEFAULT_PROPERTY_CONF = "-Dfile.encoding=UTF-8 -Dlogback.statusListenerClass=ch.qos.logback.core.status.NopStatusListener -Djava.security.egd=file:///dev/urandom -Ddatax.home=%s -Dlogback.configurationFile=%s" % (
DATAX_HOME, LOGBACK_FILE)
ENGINE_COMMAND = "java -server ${jvm} %s -classpath %s ${params} com.alibaba.datax.core.Engine -mode ${mode} -jobid ${jobid} -job ${job}" % (
DEFAULT_PROPERTY_CONF, CLASS_PATH)
配置JVM参数如下
-Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath={DATAX_HOME}/log
配置环境变量
-Dfile.encoding=UTF-8 -Dlogback.statusListenerClass=ch.qos.logback.core.status.NopStatusListener -Djava.security.egd=file:///dev/urandom -Ddatax.home=%s -Dlogback.configurationFile=%s"
去掉-D，配置在
image.png
配置启动项
从Engine类的第124行到126行可以看出，启动项需要配置三个参数：mode、jobid和job，jobid如果不配置的话默认为-1，但是只有mode是standalone模式时，jobid才能取-1的值，job配置了json文件位置
options.addOption("job", true, "Job config.");
options.addOption("jobid", true, "Job unique id.");
options.addOption("mode", true, "Job runtime mode.");
以我的情况为例：
-mode standalone -jobid -1 -job \...\oracle2mysql.json
启动java项目
直接在idea里面运行项目，控制台最后输出一下日志：
15:21:08.806 [job-0] INFO c.a.datax.core.job.JobContainer -
任务启动时刻 : 2018-09-18 15:20:36
任务结束时刻 : 2018-09-18 15:21:08
任务总计耗时 : 31s
任务平均流量 : 76.27KB/s
记录写入速度 : 165rec/s
读出记录总数 : 4956
读写失败总数 : 0