canal 集群搭建+rabbitmq

一、 写在前面

这次目标

1. 搭建一个canal集群，并且把表数据变更消息发送给rabbitmq。
2. 停止其中一台机器，变更消息依然可以发送。

二、准备

canal-admin
zookeeper
canal-deployer
rabbitmq

三、 canal-admin

3.1 启动canal-admin

下载canal.admin-1.15-SNAPSHOT，然后解压，解压后的目录如下。

image.png

接着进入conf文件夹，找个数据库导入canal_manager.sql文件。

image.png

image.png

编辑application.yml，修改如下字段
spring.datasource.address：数据库地址
spring.datasource.database：数据库名称
spring.datasource.username：数据库登录名
spring.datasource.password：数据库密码

image.png

最后进入bin目录启动项目。

image.png

3.2环境构建

3.2.1新建test集群

• 新建集群。点击集群管理-》新建集群。输入集群名称、zookeeper地址
  
  image.png

• 修改集群配置。操作-》主配置-》载入模版

  
  
  image.png
  
  
  image.png

这里需要修改的地方。
canal.zkServers：zookeeper地址+端口
canal.instance.global.spring.xml: 改成classpath:spring/default-instance.xml。
canal.mq.servers：rabbitmq部署的地址，注意不要加端口号，这里使用的是rabbitmq默认的端口，如果加端口号会影响canal-deployer启动。
canal.mq.vhost：rabbitmq的virtual host
canal.mq.exchange：rabbitmq的交换机
canal.mq.username：rabbitmq登录帐号
canal.mq.password：rabbitmq的登录密码
canal.serverMode：指定rabbitmq
canal.destinations：改成a,b。这里我们相当于指定了两个destinations，一个destinations需要一个instance。
配置好了之后记得保存。

3.2.2新建server

一个server就是一个启动的canal-deployer，所以新建的server的server ip与canal-deployer启动地址一致。这里我们新建了两个server并指定了canal-deployer的地址。

image.png

3.2.3新建Instance

这里新建两个instance，一个是a，一个是b，对应前面的canal.destinations。

image.png

修改以下配置：
canal.instance.mysql.slaveId:注意slaveId需要唯一
canal.instance.master.address:数据库地址+端口
canal.instance.dbUsername:数据库登录名
canal.instance.dbPassword:数据库密码
canal.instance.defaultDatabaseName:数据库名称
canal.mq.topic:rabbitmq路由键，为了区分是instance a发的消息，还是instance b发的消息，所以instance a的topic设置a，instance b的topic设置b。

image.png

四、配置canal-devopler

进入192.168.5.148、192.168.5.31机器中修改以下配置。
打开conf/canal_local.properties文件
canal.admin.manager：canal-adminip地址+端口
canal.admin.register.cluster：之前新建的集群名称，文章中的test。
canal.register.ip ：指定注册的ip地址，192.168.5.148机器就写192.168.5.148。
canal.admin.register.auto: 设置为false，防止本机可能有多个虚拟ip干扰结果。
设置保存好了之后进入bin目录执行./startup.sh local命令（加载canal_local.properties）。

五、canal-admin 页面

image.png

image.png

可以看到目前instance实例是挂在192.168.5.31机器上

六、rabbitmq 绑定队列绑定路由键

这里 rabbitmq队列绑定了a、b路由键。

image.png

七、验证结果

7.1表变更数据发送给rabbitmq

image.png

image.png

可以看到只有两条消息，分别是instance a和instance b发送的。

7.2关闭一台机器消息仍然可以发送

这里两个instance都是在192.168.5.31机器上，这时候我们关闭192.168.5.31机器，然后重新变更表数据。
进入192.168.5.31机器，并再bin/目录下执行./stop.sh。

image.png

image.png

可以看到192.168.5.31机器提供的server已经停止，并且两个instance挂在192.168.5.148上，修改表数据。下图可以看到消息成功发送。

image.png

最后

在最后贴一张配置文件获取图，启动canal-server 的时候，会从本地配置canal.admin.manager的地址中拿集群中的配置信息（文章中的test集群），
然后根据集群文件中的canal.destinations生成instance，生成instance就需要从canal.admin.manager的地址中获取对应的instance配置。

image.png