分布式datax CDC架构设计

分布式dataX CDC有两种可选方式,分布式作业分布式时间槽

分布式作业在《分布式dataX详细(落地)设计》介绍过,dataX CDC单分片,使用分布式作业,只有一个worker作业工作,其他worker作业备用状态,资源利用率不高,因此,分布式时间槽比较合适

参考

《分布式dataX详细(落地)设计》

《Datax CDC 可靠channel》

《CDC增量同步框架与关系/neo4j增量同步设计》

《分布式时间槽elastic timeslot架构设计》

技术架构

下面介绍分布式dataX CDC的技术架构,下图是分布式datax CDC和分布式datax技术架构对比, 前者使用分布式时间槽,后者分布式作业,通过对比更好了解分布式dataX CDC

分布式datax CDC架构设计_第1张图片

分布式datax CDC架构设计_第2张图片  

上为分布式dataX CDC, 使用分布式时间槽模式;下为分布式dataX,使用分布式作业模式

1. 作业节点

dataX CDC:作业分片对应dataX作业,是standalone模式的datax engine

dataX:作业(worker)节点分片是dataX作业分片

你可能感兴趣的:(分布式dataX,分布式,架构,中间件)