分布式 datax 架构设计

1. 背景

DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题,DataX 将复杂的网状的同步链路变成了星型数据链路,DataX 作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到 DataX,便能跟已有的数据源做到无缝数据同步。

分布式 DataX 基于 datax 开发的,支持分片分布式调度,分片容错,节点发现,增大数据交换吞吐,高可用,使用场景是线下一次性大规模数据同步*

*另一平台,云 datax 用于定时增量同步

2. 参考和术语

ETL 英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程

类热加载 利用自定义类加载器动态载入类,减少 metaspace 使用,减少进程启动时间,支持新类热载入

3. datax 规划

分两大平台,分布式 datax 和云 datax

分布式 datax 架构设计_第1张图片

 分布式 datax 用于一次性大规模数据同步<

你可能感兴趣的:(分布式dataX,java,zookeeper,分布式)