canal集群搭建

准备

canal-admin的限定依赖：
1.MySQL，用于存储配置和节点等相关数据
2.canal版本，要求>=1.1.4 (需要依赖canal-server提供面向admin的动态运维管理接口)

部署

1.下载 canal-admin,
1.1.4 版本：1.1.4下载地址
2.解压缩

mkdir canal-admin
tar zxvf canal.admin-1.1.4.tar.gz  -C canal-admin

解压完成后，进入 /canal 目录，可以看到如下结构

drwxr-xr-x   6 agapple  staff   204B  8 31 15:37 bin
drwxr-xr-x   8 agapple  staff   272B  8 31 15:37 conf
drwxr-xr-x  90 agapple  staff   3.0K  8 31 15:37 lib
drwxr-xr-x   2 agapple  staff    68B  8 31 15:26 logs

3.配置修改

vi conf/application.yml
server:
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8

spring.datasource:
  address: 127.0.0.1:3306
  database: canal_manager
  username: canal
  password: canal
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${
     spring.datasource.address}/${
     spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1

canal:
  adminUser: admin
  adminPasswd: admin

4.初始化元数据库

mysql -h127.1 -uroot -p
导入初始化SQL
source conf/canal_manager.sql
a. 初始化SQL脚本里会默认创建canal_manager的数据库，建议使用root等有超级权限的账号进行初始化
b. canal_manager.sql默认会在conf目录下，也可以通过链接下载 canal_manager.sql

5.启动

sh bin/startup.sh
查看 admin 日志
vi logs/admin.log
2019-08-31 15:43:38.162 [main] INFO o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat initialized with port(s): 8089 (http)
2019-08-31 15:43:38.180 [main] INFO org.apache.coyote.http11.Http11NioProtocol - Initializing ProtocolHandler [“http-nio-8089”]
2019-08-31 15:43:38.191 [main] INFO org.apache.catalina.core.StandardService - Starting service [Tomcat]
2019-08-31 15:43:38.194 [main] INFO org.apache.catalina.core.StandardEngine - Starting Servlet Engine: Apache Tomcat/8.5.29
…
2019-08-31 15:43:39.789 [main] INFO o.s.w.s.m.m.annotation.ExceptionHandlerExceptionResolver - Detected @ExceptionHandler methods in customExceptionHandler
2019-08-31 15:43:39.825 [main] INFO o.s.b.a.web.servlet.WelcomePageHandlerMapping - Adding welcome page: class path resource [public/index.html]
此时代表canal-admin已经启动成功，可以通过 http://127.0.0.1:8089/ 访问，默认密码：admin/123456

6.关闭

sh bin/stop.sh

安装canal.server

1.下载压缩包
到官网地址(release)下载最新压缩包,请下载 canal.deployer-latest.tar.gz
2.将canal.deployer 复制到固定目录并解压

mkdir -p canal
tar -zxvf canal.deployer-1.1.4.tar.gz -C canal

3.canal-server端配置
使用canal_local.properties的配置覆盖canal.properties

# register ip
canal.register.ip =

# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster =

4.启动admin-server即可

sh bin/start.sh

创建slave账户

canal的原理是模拟自己为mysql slave，所以这里一定需要做为mysql slave的相关权限

CREATE USER canal IDENTIFIED BY 'canal';    
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';  
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;  
FLUSH PRIVILEGES; 

canal 连接开启sasl验证的Kafka集群

底层逻辑：
1）Kafka开启了sasl验证，意味着客户端需要通过sasl验证才能连接Kafka。
2）客户端需要准备两样东西
第一：配置 -Djava.security.auth.login.config
第二：准备sasl验证文件
3）针对canal来讲，需要开启sasl验证模式。
具体操作如下：
1）canal.properties文件修改，用来指定数据发送kafka
canal.serverMode = kafka
2）canal.properties文件新增两行配置，用来开启sasl验证模式。
canal.mq.properties.security.protocol = SASL_PLAINTEXT
canal.mq.properties.sasl.mechanism = PLAIN
3）instance.properties 文件修改 canal.mq.topic=maoxiangyi，用来指定数据发往哪个kafka
KafkaClient {
org.apache.kafka.common.security.plain.PlainLoginModule required
username=“sss”
password=“ssss”;
};
4）准备一个文件kafka_client_jaas.conf，放在config目录下。
5）修改启动脚本 start.sh ，配置 -Djava.security.auth.login.config=/opt/canal/conf/kafka_client_jaas.conf。 具体位置参考以下代码

if [ -n "$str" ]; then
     JAVA_OPTS="-server -Xms2048m -Xmx3072m -Xmn1024m -XX:SurvivorRatio=2 -XX:PermSize=96m -XX:MaxPermSize=256m -Xss256k -XX:-UseAdaptiveSizePolicy -XX:MaxTenuringThreshold=15 -XX:+DisableExplicitGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -Djava.security.auth.login.config=/opt/canal/conf/kafka_client_jaas.conf "
else
     JAVA_OPTS="-server -Xms1024m -Xmx1024m -XX:NewSize=256m -XX:MaxNewSize=256m -XX:MaxPermSize=128m "
fi

mysql多主配置

1、canal instance配置

# position info
canal.instance.master.address = 10.20.144.25:3306
canal.instance.master.journal.name = 
canal.instance.master.position = 
canal.instance.master.timestamp = 
canal.instance.standby.address = 10.20.144.29:3306
canal.instance.standby.journal.name =
canal.instance.standby.position =
canal.instance.standby.timestamp =

#detecing config
1 canal.instance.detecting.enable = true ## 需要开启心跳检查
2 canal.instance.detecting.sql = select 1 ##心跳检查sql
3 canal.instance.detecting.interval.time = 3 ##心跳检查频率
4 canal.instance.detecting.retry.threshold = 3  ## 心跳检查失败次数阀值，超过该阀值后会触发mysql链接切换，比如切换到standby机器上继续消费binlog
5 canal.instance.detecting.heartbeatHaEnable = true ## 心跳检查超过失败次数阀值后，是否开启master/standby的切换.

注意：
a. 填写master/standby的地址和各自的起始binlog位置，目前配置只支持一个standby配置.
b. 发生master/standby的切换的条件：(heartbeatHaEnable = true) && (失败次数>=retry.threshold).
c. 多引入一个heartbeatHaEnable的考虑：开启心跳sql有时候是为client检测canal server是否正常工作，如果定时收到了心跳语句，那说明整个canal server工作正常