深入浅出 Otter与Canal

第一、Otter 

基于数据库增量日志解析,准实时同步到本机房或异地机房的Mysql/Oralce数据库,一个分布式数据库同步系统;

基本工作原理图如下:

 

深入浅出 Otter与Canal_第1张图片

 

  • 基于Canal开源产品,获取数据库增量日志数据;

  • 典型管理系统架构,manager(WEB 管理) + node(工作节点)

    • manager运行时推送同步配置到node节点;

    • node节点将同步状态反馈到manager上;

  • 基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作;

  • 能解决什么?

    • 1.异构库同步

      • mysql -> mysql/oracle (目前开源版本只支持mysql增量,目标库可以是mysql或者是oracle,取决于canal的功能)

    • 2.单机房同步(数据库之间RTT < 1ms)

      • 数据库版本升级;

      • 数据表迁移;

      • 异步二级索

你可能感兴趣的:(大数据挖掘与大数据应用案例)