DataX通过纯Java代码启动

       DataX是阿里巴巴团队开发的一个很好开源项目，但是他们对如何使用只提供了python命令启动方式，这种方式对于只是想简单的用下DataX的人来说很是友好，仅仅需要几行代码就可以运行，但是如果你需要在DataX上进行二次开发，那么用python来控制程序加显得很没有掌控力度，也不容易和别的模块进行融合，今天来说下DataX纯Java代码的启动方式，也顺便来记录一下以后想用的时候加能直接用了

       

    先把测绘的代码写上  就一行。     

     突然想起来还有好多代码没敲完！！！！先写到这，后面的下午6点前更新。

---------------------------------------------------

   机器太差了，给mysql创建1000万条数据一直创建不好，正好趁这个时间来继续更新

   这里面启动的时候会加载两个配置文件 一个是datax.py  另一个是 xxx.json   

   先说第一个    这是一个python格式的配置文件，如果我们用纯java来启动的话需要把这个配置转换一下

   转换成Java格式大致就是下面这些   

java

//JVM启动参数
-server
-Xms1g
-Xmx1g
-Xms1g
-Xmx1g
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/Users/xx/JavaProjects/DataX-master/core/src/main/log
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/Users/xx/JavaProjects/DataX-master/core/src/main/log

//环境变量
-Dloglevel=info
-Dfile.encoding=UTF-8
-Dlogback.statusListenerClass=ch.qos.logback.core.status.NopStatusListener
-Djava.security.egd=file:///dev/urandom
-Ddatax.home=/Users/hongming/JavaProjects/DataX-master/core/src/main
-Dlogback.configurationFile=/Users/xx/JavaProjects/DataX-master/core/src/main/conf/logback.xml
-Dlog.file.name=c_main_bin_data_json

-classpath /Users/xx/JavaProjects/DataX-master/core/src/main/lib/*:.

com.alibaba.datax.core.Engine -mode standalone -jobid -1 -job /Users/xx/Downloads/datax-b/core/src/main/bin/job.json

   这时候我们按照这个来配置一下环境变量   

  Run--》Edit Configurations  

涉及到项目隐私  我就不贴图了

配置如下

program arguments  com.alibaba.datax.core.Engine -mode standalone -jobid -1 -job /Users/xx/Downloads/datax-b/core/src/main/bin/job.json

Environment variables  

-Dloglevel=info 
-Dfile.encoding=UTF-8 
-Dlogback.statusListenerClass=ch.qos.logback.core.status.NopStatusListener 
-Djava.security.egd=file:///dev/urandom 
-Ddatax.home=/Users/hongming/JavaProjects/DataX-master/core/src/main 
-Dlogback.configurationFile=/Users/xx/JavaProjects/DataX-master/core/src/main/conf/logback.xml 
-Dlog.file.name=c_main_bin_data_json

-D去掉之后依次添加进去  

比如 loglevel=info 

module  选core  

配置完成  点击ok

然后这时候如果你点运行的话会告诉你插件加载失败

 

我们来看看插件加载的路径在哪

找了一圈 。发现在这个路径下

com/alibaba/datax/core/util/container/CoreConstant.java

这里面是配置的全局变量和局部变量  这时候你把自己的插件

DATAX_PLUGIN_READER_HOME

DATAX_PLUGIN_WRITER_HOME

路径修改为自己的

如果提示找不到 core.json的配置文件    那就把上面的

 DATAX_CONF_PATH 

修改成自己的   
这时候如果你的json没写错的话应该就没什么问题了   
可以接着往下开发了。

 

转载于:https://www.cnblogs.com/blogsofmy/p/8287637.html