Java干货——datax的二次开发集成rabbitMQ
1.开发背景
最近公司需求，经大量调研后，决定采用阿里的datax，实现多系统之间数据同步，满足平行入库和经复杂业务逻辑处理后入库。
2.开发需求
平行入库直接应用datax现有逻辑，即可实现sqlserver到mysql的数据同步；需要复杂处理入库，则考虑应用rabbitMQ和datax的二次开发插件实现。
3.插件集成过程
3.1下载datax
datax的GitHub地址：https://github.com/alibaba/DataX
下载zip压缩文件
3.2本地解压，导入idea
导入过程时间过程，请耐心等待。。。，导入后的结构图
3.3简单介绍datax
datax启动入口
此处可以通过main方法修改启动，修改执行的json文件的路径（当然datax也更好的支持python的启动命令）
3.4datax集成rabbitMQ
创建一个模块rabbitmqwriter，根据其他模块复制相应的结构，
3.5修改rabbitmqwriter相应文件和编写处理过程
rabbitmqwriter模块package.xml
rabbitmqwriter模块Key
rabbitmqwriter模块RabbitMQWriter（其实是rabbitmq客户端）
rabbitmqwriter模块RabbitMQWriterErrorCode
rabbitmqwriter模块plugin.json
rabbitmqwriter模块pom.xml 添加rabbitmq的jar
3.5修改datax主工程配置
修改主目录package.xml，添加rabbitmqwriter模块，将应用不到的模块屏蔽掉。
修改主目录pom.xml
4maven打包
在idea的terminal中执行 mvn -U clean package assembly:assembly -Dmaven.test.skip=true
完成打包
5编写json文件
6启动
python /datax/bin/datax.py -p Dpath=/data/log/2020/01/05" /datax/job/kafkatohdfs.json