DataX插件编写指南
简介
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github。
代码托管地址：
https://github.com/alibaba/DataX
插件的开发可以参考:
https://github.com/alibaba/DataX/wiki/DataX%E6%8F%92%E4%BB%B6%E5%BC%80%E5%8F%91%E5%AE%9D%E5%85%B8
下面是参考《DataX插件开发宝典》，进行插件开发的一个完整的流程。
新建模块
首先从 https://github.com/alibaba/DataX 克隆代码，然后执行如下命令：
mvn clean package -DskipTests assembly:assembly这个命令会生成datax.tar.gz，我们可以将生成的文件部署到相应的环境，进行数据的导入导出。
后续，开发测试之后，可以使用上面的命令，将我们自己开发的插件集成到DataX中。
然后将代码导入到Eclispe(或者其它IDE)中，然后在这个项目下新建一个maven模块。
接着做一些配置，配置之后就可以进行开发了
配置
DataX使用Maven工具来管理项目，插件和框架使用多模块的方式组织在一起。使用maven-assembly-plugin将所有的模块打包在一起。
在开发的过程中，需要进行两方面的配置
- 插件模块本身的配置：目录和文件要满足约定
- DataX主模块的配置：需要配置2个文件：./pom.xml和./package.xml
插件本身的配置：
建立一个插件模块之后，源代码的结果应该满足如下结构：
pom的配置：
com.alibaba.datax
datax-all
0.0.1-SNAPSHOT
4.0.0
qvxfilereader
0.0.1-SNAPSHOT
com.alibaba.datax
datax-common
${datax-project-version}
junit
junit
maven-assembly-plugin
src/main/assembly/package.xml
datax
dwzip
package
single
这里要注意的是，
1 增加了对datax-common的依赖，这个依赖是DataX的框架，
2 配置了maven-assembly-plugin，在这里应用了src/main/assembly/package.xml。package.xml定义了打包之后的目录结构，这个目录结果是DataX约定好的。具体如下：
dir
false
src/main/resources
plugin.json
plugin_job_template.json
plugin/reader/qvxfilereader
target/
qvxfilereader-0.0.1-SNAPSHOT.jar
plugin/reader/qvxfilereader
false
plugin/reader/qvxfilereader/libs
runtime
除了上面的两个xml文件，还需要两个json文件
plugin.json是对插件本省的描述，在框架根据这个文件来加载插件，例如：
{
"name": "qvxfilereader",
"class": "com.alibaba.datax.plugin.reader.qvxfilereader.QvxFileReader",
"description": "useScene: test. mechanism: use datax framework to transport data from qvx file. warn: The more you know about the data, the less problems you encounter.",
"developer": "dtstack.com"
}plugin_job_template.json：插件的配置模块，用户在使用插件是，根据这个模版来进行配置。例如：
{
"name": "qvxfilereader",
"parameter": {
"path": [],
"fieldDelimiter": ""
}
}DataX主模块的配置
pom.xml 中添加本插件的模块名称 模块名称artifactId
qvxfilereader
qvxfilereader/target/datax/
**/*.*
datax
开发
主要参考《DataX插件开发宝典》，这里面讲的比较详细。
下面是插件如何通过RecordSender往channel写入数据的伪代码：
public void startRead(RecordSender recordSender) {
Record record=recordSender.createRecord();
record.addColumn(new LongColumn(1));
record.addColumn(new StringColumn("hello,world!"));
recordSender.sendToWriter(record);
recordSender.flush();
}测试
开发完成之后，可以通过执行命令：
mvn clean package -DskipTests assembly:assembly来生成DataX，然后进行测试。
因为每次执行这条命令，会把DataX中所有的插件重新编译和打包，速度会比较慢。所以，可以修改DataX中的pom.xml和package.xml,模块只保留common和正在开发中的插件。