StreamSets的应用——SqlServer CDC的使用

目录

  • SqlServer的CDC和CT区别
  • SqlServer的CDC配置
  • 配置同步流程
  • 小坑1:主子表外键关联
  • 小坑2: 同步主表,自动生成多张子表
  • 小结

系统的新旧数据需要同步,但两个系统表结构差异较大,因此决定选用StreamSet完成数据的同步,也即SqlServer和MySql的同步。

SqlServer的CDC和CT区别

StreamSets提供了CDC和Change Tracking两种凡是捕获SqlServer的数据更改,其中CDC侧重于副本复制,Change Tracking(CT) 应该是精简版,仅支持数字主键的表监控,并且不支持复合主键。

  1. 如果应用程序需要有关所有所做更改的信息以及所更改数据的中间值,则可能适合使用CDC,而不适合使用CT。

  2. CDC使用异步进程捕获,此进程读取事务日志;CT是与DML操作同步的,不需要读取事务日志;

  3. CDC包含了变更的历史记录,CT只保存行,但不会捕获更改的数据;

上述说的CT按数字主键监视,其实是StreamSets的限制。因此,基于此,只能选择CDC完成我们的新旧系统数据同步了…

SqlSer

你可能感兴趣的:(架构,StreamSet)