DataX源码打包编译采坑记--修改MongoDB 插件

1.通过maven打包

mvn -U clean package assembly:assembly -Dmaven.test.skip=true

2.otsstreamreader/pom.xml

com.aliyun.openservices

tablestore-streamclient

1.0.0-SNAPSHOT

此处把1.0.0-SNAPSHOT改成1.0.0

3.odpsreader||odpswriter /pom.xml

org.bouncycastle

bcprov-jdk15on

1.52

system

${basedir}/src/main/libs/bcprov-jdk15on-1.52.jar

改成

org.bouncycastle

bcprov-jdk15

1.38

4.odpsreader||odpswriter /pom.xml 现在编译datax odps插件模块会报错

比较过之前odps-sdk-core-0.19.3-public.pom的的依赖是

org.bouncycastle

bcprov-jdk15on

1.52

现在是

com.alibaba.external

bouncycastle.provider

1.38-jdk15

原因：    后来的这个依赖应该是阿里内部jar，外部仓库无法加载这个jar

解决：修改pom.xml

com.aliyun.odps

odps-sdk-core

0.19.3-public

改成

com.aliyun.odps

odps-sdk-core

0.20.7-public

5. 更新MongoDB驱动版本，因为MongoDB驱动在3.4.0 之后添加了Decimal128类型

  org.mongodb

  mongo-java-driver

  3.2.2

改成

  org.mongodb

  mongo-java-driver

  3.4.0

 

-Dloglevel=info

-Dfile.encoding=UTF-8

-Dlogback.statusListenerClass=ch.qos.logback.core.status.NopStatusListener

-Djava.security.egd=file:///dev/urandom

-Ddatax.home=D:\IDEA\DataX-New\target\datax\datax

-Dlogback.configurationFile=D:\IDEA\DataX-New\target\datax\datax/conf/logback.xml

  -classpath D:\IDEA\DataX-New\target\datax\datax/lib/* 

-Dlog.file.name=tax\job\UserTest_txt com.alibaba.datax.core.Engine

-mode standalone

-jobid -1

-job D:\datax\job\UserTest.txt