1、数据同步方案设计

        数据同步要解决2个问题，1是存量数据同步，2是增是数据同步。存量同步只需要进行一次，所以又叫离线同步，或批处理同步。增量同步要解决每时每刻的数据变化同步，要运行多次，所以又叫实时同步，流处理同步。

        数据准实时复制（CDC）是目前数据同步中大量使用的技术，随着国产化的需求，许多公司也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商业产品的替代。目前业界主流的实现机制可以分为两种：

        （1）基于查询的 CDC，详一、传统的数据同步方案：

        ◆离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据；

        ◆无法保障数据一致性，查的过程中有可能数据已经发生了多次变更；

        ◆不保障实时性，基于离线调度存在天然的延迟。