Canal

        canal译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。

Canal_第1张图片

1.canal 工作原理

  • canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议
  • MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )
  • canal 解析 binary log 对象(原始为 byte 流)

2.安装/配置MySQL

1.安装mysql

        已安装略过此步骤,未安装,可以参考linux 安装MySQL-CSDN博客进行安装。

2.开启binlog日志

vi /etc/my.cnf

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 行 模式
#binlog-do-db 根据自己的情况进行修改,指定具体要同步的数据库,如果不配置
则表示所有数据库均开启 Binlog
#binlog-do-db=demo
#binlog-do-db=dmp

注意:需要重启MySQL实例使配置生效,执行命令:sudo systemctl restart mysqld

3.新建canal账号并授权

create user canal@'%' identified with mysql_native_password by 'wsx-123';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

4.查看binlog日志

1)查看binlog模式:show variables like '%binlog_format%';
 Canal_第2张图片
2)查看binlog日志文件列表:show binary logs;

Canal_第3张图片
3)查看当前正在写入的binlog文件: show master status;

Canal_第4张图片

 3.安装Canal

3.1下载 canal

wget https://github.com/alibaba/canal/releases/download/canal-1.1.6/canal.adapter-1.1.6.tar.gz

3.2 解压canal

mkdir ~/opt/canal

tar -zxf canal.deployer-1.1.6.tar.gz  -C ~/opt/canal

Canal_第5张图片

3.3  修改canal 的基本通用配置

vi conf/canal.properties

#canal常用端口
canal.admin.port = 11110
canal.port = 11111
canal.metrics.pull.port = 11112

# 输出 model,默认 tcp,改为输出到: kafka, rocketMQ, rabbitMQ, pulsarMQ
canal.serverMode = tcp

# 指定实例,多个实例使用逗号分隔: canal.destinations = example1,example2
#如果需要多个实例处理不同的MySQL数据的话,直接拷贝出多个conf/example,并对其重新命名,命名和配置文件中指定的名称一致即可
canal.destinations = example

3.4 修改canal 实例配置

vi conf/example/instance.properties

## mysql serverId , v1.0.26+ will autoGen
# canal.instance.mysql.slaveId=0

# mysql数据库地址:ip+端口
canal.instance.master.address=127.0.0.1:3306 
 
# mysql数据库用户名和密码 
canal.instance.dbUsername=canal 
canal.instance.dbPassword=wsx-123


#代表数据库的编码方式对应到 java 中的编码类型,比如 UTF-8,GBK , ISO-8859-1
canal.instance.connectionCharset = UTF-8
 
# 指定库和表,这里的 .* 表示 canal.instance.master.address 下面的所有数据库
canal.instance.filter.regex=.*\\..*

#指定具体数据库和该库所有表
#canal.instance.defaultDatabaseName=demo
#table regex
#canal.instance.filter.regex = demo\\..*

3.5 启动canal

sh bin/startup.sh

Canal_第6张图片

        首次运行成功之后,会在实例目录下生成meta.dat元数据文件,里面包含有mysql的连接信息、binlog文件及position位点信息。

vi conf/example/meta.dat

Canal_第7张图片

3.6 验证启动成功

tail -f logs/example/example.log

Canal_第8张图片

4.实时监控

4.1 canal 客户端

        canal 特别设计了 client-server 模式,交互协议使用 protobuf 3.0 , client 端可采用不同语言实现不同的消费逻辑。

        canal java 客户端: ClientExample · alibaba/canal Wiki · GitHub

4.2 MQ客户端

        canal 作为 MySQL binlog 增量获取和解析工具,可将变更记录投递到 MQ 系统中,比如 Kafka/RocketMQ。

        参考文档: Canal Kafka/RocketMQ QuickStart

你可能感兴趣的:(Canal)