网易数据运河系统 NDC 设计与应用

NDC 是网易近一年新诞生的结构化数据传输服务，它整合了网易过去在数据传输领域的各种工具和经验，将单机数据库、分布式数据库、OLAP 系统以及下游应用通过数据链路串在一起。除了保障高效的数据传输外，NDC 的设计遵循了单元化和平台化的设计哲学，本篇文章将带大家近距离了解 NDC 的设计思路和实现原理。

NDC 简介

NDC 全名 Netease Data Canal，直译为网易数据运河系统，是网易针对结构化数据库的数据实时迁移、同步和订阅的平台化解决方案。

在 NDC 之前，我们主要通过自研或开源软件工具来满足异构数据库实时迁移和同步的需求，随着云计算和公司业务的大力推进，公司内部，尤其是运维团队开始对数据迁移工具的可用性、易用性以及其他多样化功能提出了更多要求和挑战，NDC 平台化解决方案便应运而生。NDC 的构建快速整合了我们之前在结构化数据迁移领域的积累，于2016年8月正式立项，同年10月就已上线开始为我们的各大产品线提供在线数据迁移和同步服务。

业界中与 NDC 类似的产品有阿里云的 DTS、阿里开源产品 DataX、Canal、Twitter 的 Databus，在传统领域有 Oracle 的 GoldenGate、开源产品 SymmetricDS。从产品功能、成熟度来看，NDC 与阿里
云 DTS 最为相似，都具有简、快、全三大特性：

• 简，使用简单，有平台化的Web管理工具，配置流程简洁易懂。
• 快，数据同步、迁移和订阅速度快，执行高效，满足互联网产品快速迭代的需求。
• 全，功能齐全，NDC 支持多种常用的异构数据库，包括 Oracle、MySQL、SQLServer、DB2、PostgreSQL 以及网易分布式数据库 DDB，除了可以满足不同数据库之间在线数据迁移、实时同步之外，NDC 也可以实现从数据库到多种 OLAP 系统的实时数据同步和 ETL，目前同步目标支持的 OLAP 系统包含 Kudu 和 Greeplum。另外，NDC 支持对数据库做数据订阅，通过将数据库的增量数据丢入消息队列，使应用端可以自由消费数据库的实时增量数据，从而实现由数据驱动业务，复杂业务之间调用解耦。