如何编写分布式的数据传输

一、原理
根据前面介绍的datax原理，数据传输主要包括两部分：1）切分task；2）task调度执行

二、如何切分task

根据不同的数据源可以有不同的切分方式（目标端进行适配），几种常见的切分方式
  1）mysql：如果是分库分表，可以按照单表切分成一个task；如果是单表，可以根据主键的区间值切分（参考datax的splitKey）
  2）hbase：根据region的rowkey进行切分
  3）文件：一个文件一个task，如果单文件可以切分（如orc文件），可以一个文件多个task
  4）kafka：可以按照partition进行切分
  5）其他的可以参考datax里面的reader插件
  

三、如何进行task调度执行
在datax里面，task的调度分成了两级，首先将task分配到不同的taskGroup，然后每个taskGroup里面有5个不同的线程去消费task，这种分配策略和分布式调度策略有相似之处。以Yarn为例，分配一个AM作为调度节点，每个container作为执行节点即可将datax移植到分布式的执行引擎上面，具体设计可以参考下图

四、上述实现方式即可以是mapreduce，也可以是spark，或者自己实现一个Yarn Application，我本人是使用mr实现上述设计