阿里Canal部署及使用理解

阿里Canal部署及使用理解

Canal的git地址 https://github.com/alibaba/canal

Canal原理：

1.canal模拟mysql slave的交互协议，伪装自己为mysql slave,向mysql master发送dump协议；

2.mysql master收到dump请求，开始推送binary log给slave(也就是canal)

3.canal解析binary log对象（原始byte流）

Canal部署：

1.首先针对mysql服务，需要对mysql进行设置，开启binlog权限：

[mysqld]
log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

2.对配置在canal的mysql用户进行赋权操作（需要模拟slave）：

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

3.下载canal并进行解压（当时操作的版本为canal.deployer-1.0.25.tar.gz）

4.对canal进行参数设置：

应用参数：

vi conf/example/instance.properties
## mysql serverId
canal.instance.mysql.slaveId = 1234

position info，需要改成自己的数据库信息


canal.instance.master.address = 127.0.0.1:3306
canal.instance.master.journal.name =
canal.instance.master.position =
canal.instance.master.timestamp =


#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =

username/password，需要改成自己的数据库信息


canal.instance.dbUsername = canal

canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8
#正则控制对那些数据库的哪些表进行监控，.\..则是全库全表
table regex
canal.instance.filter.regex = .\..

说明：

canal.instance.connectionCharset 代表数据库的编码方式对应到java中的编码类型，比如UTF-8，GBK , ISO-8859-1

启动服务。

sh bin/startup.sh

使用样例：

在github上有具体说明，通过java实现读取binlog日志信息，进行解析。