爱可⽣开源MySQL数据传输中间件—DTLE

 

2018年10⽉24⽇，企业级数据处理技术整体解决方案提供商上海爱可⽣信息技术股份有限公司正式开源其 MySQL 数据传输中间件DTLE。

 

DTLE:

http://dtle.cloud

https://github.com/actiontech/dtle

对应文档地址：

https://actiontech.github.io/dtle-docs-cn/

DTLE QQ群：852990221

 

目前，随着MySQL在各个行业的深入使用，在不同数据系统、不同数据中心、不同业务系统之间进行数据传输、数据订阅、形成数据总线等需求逐渐增多。爱可生推出的DTLE是一个针对MySQL的使用特点、支持多种使用场景的数据传输中间件。

 

DTLE是什么？

 

DTLE是一个开源的数据传输中间件，其针对的核心场景如下: 

 

• 跨数据中心的数据传输：DTLE能在数据中心间进行可靠数据传输，并提供链路压缩以降低传输成本

• 云间数据同步/迁移：DTLE能提供在公有云间架设数据同步通道，以支持数据容灾等需求

• 数据汇聚：DTLE能将多个数据源汇聚到同一个数据源，以提供数据分析/数据转储的功能

• 数据订阅：DTLE能将数据源的变更消息发往Kafka等消息中间件，以支持数据订阅通知/缓存失效通知等需求

• 跨数据中心的双向复制：DTLE能在数据中心间提供双向复制通道，以配合业务实现数据双写

 

为什么要开源？

 

随着MySQL在各行业的使用场景逐渐成熟，以数据传输为基础的需求逐渐增多。若要设计一款良好的数据传输中间件，要解决的核心问题是：如何保障质量、适配复杂场景、提供多样功能。

 

在2017年10月24日，爱可生开源了MySQL分布式中间件—DBLE。时隔一年，DBLE与社区互动良好，从社区吸纳了许多设计经验和质量反馈，已成为一款成熟的数据库中间件。随着社区用户增多，已实现了与社区用户的双赢。

 

爱可生此次开源DTLE，是真诚为社区提供MySQL生态圈里一个可持续发展的工具，并希望与社区再次达成双赢，解决数据传输中间件的核心问题。

 

DTLE的设计特点

 

• 分布式架构：DTLE在数据传输这个基本场景上，使用了成熟的分布式任务调度架构，可以便捷地在集群中配置大量的数据传输任务，提供断点续传/故障转移等分布式系统的重要特性

• 灵活的网络适配能力：DTLE可适配复杂的网络架构，提供跨数据中心的数据通道功能和公有云间的数据通道功能

• 多场景适配：DTLE通过组合多个原子任务，可适配复杂的数据传输场景

 

关于开源 MySQL 数据传输中间件DTLE更多技术细节我们后期会持续输出，版本更新维护及使用问题反馈，欢迎加入DTLE（Q群：852990221）。