什么是CDC?

文章目录

    • CDC
      • 什么是CDC
      • CDC的种类

CDC

什么是CDC

CDC,change data capture,变更数据获取

核心思想:
监测并捕捉数据库的数据变更,如数据/数据表的插入、更新和删除等操作;
将这些变更操作按照顺序完整记录下来;
并写入消息中间件中以供其他服务订阅和消费

通常来说,只要是能获取数据变更的技术都可以成为CDC。但我们这里说的CDC是指对数据库数据变更的获取。

CDC技术的使用场景很多:

  • 数据同步:用于容灾、备份;
  • 数据分发:一个数据源下发给多个下游;
  • 数据采集:面向数据仓库/数据湖的ETL数据集成

ETL:数据的获取、传递和加载

CDC的种类

  • 通过查询获取
  • 通过binlog获取
对比项目/方式 查询 binlog
开源产品 Sqoop、Kafka JDBC Source Canal、Maxwell、Debezium
执行模式 Batch Streaming
是否可以获取所有的数据变化 否 是
延迟性 高延迟 低延迟
是否增加数据库的压力

你可能感兴趣的:(运维,云原生)