Canal入门（一）

Canal

前段时间做完kafka基础功能后，公司又增加了一个新需求，利用kafka和canal完成数据库的实时增量。于是开始对canal的调研之路。希望看到的人可以给我一些指导，共同进步。

1、背景

早期，阿里巴巴 B2B 公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求 ，主要是基于trigger的方式获取增量变更。从 2010 年开始，公司开始逐步尝试数据库日志解析，获取增量变更进行同步，由此衍生出了增量订阅和消费业务，从此开启一段新纪元。

基于日志增量订阅和消费的业务包括

• 数据库镜像
• 数据库实时备份
• 索引构建和实时维护(拆分异构索引、倒排索引等)
• 业务 cache 刷新
• 带业务逻辑的增量数据处理

2、工作原理

2.1、MySQL主从复制原理

1. MySQL master将数据变更写入二进制日志(binary log，其中记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看）
2. MySQL slave将master的binary log event拷贝到它的中继日志(relay log)
3. MySQL slave重放relay log中事件，将数据变更反映到它自己的数据库

2.2 canal工作原理

1. canal模仿MySQL slave的交互协议，伪装自己为MySQL slave，向MySQL master发送dump协议
2. MySQL msater接收到dump协议，开始推送binary log给slave，即canal
3. canal解析binary log对象（原始为byte流）

3、快速启动

3.1、准备工作

1. 对于自建MySQL，需要先开启binlog写入功能，配置binlog-format为ROW模式,my.cnf中配置如下：

   [mysqld]
   log-bin=mysql-bin # 开启 binlog
   binlog-format=ROW # 选择 ROW 模式
   server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复
   

   注意：阿里云的RDS for MySQL，默认打开了binlog，并且帐号具有binlog dump权限，可直接跳过这一步。

2. 授权canal链接MySQL账户具有作为MySQL slave的权限，如果已有账户可直接grant。

   CREATE USER canal IDENTIFIED BY 'canal';  
   GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
   -- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
   FLUSH PRIVILEGES;
   

3.2 启动

1. 下载 canal, 访问 release 页面 , 选择需要的包下载, 如以 1.0.17 版本为例

   wget https://github.com/alibaba/canal/releases/download/canal-1.0.17/canal.deployer-1.0.17.tar.gz
   

2. 解压缩

   mkdir /tmp/canal
   tar zxvf canal.deployer-$version.tar.gz  -C /tmp/canal
   

   1. 解压完成后，进入 /tmp/canal 目录，可以看到如下结构

      drwxr-xr-x 2 jianghang jianghang  136 2013-02-05 21:51 bin
      drwxr-xr-x 4 jianghang jianghang  160 2013-02-05 21:51 conf
      drwxr-xr-x 2 jianghang jianghang 1.3K 2013-02-05 21:51 lib
      drwxr-xr-x 2 jianghang jianghang   48 2013-02-05 21:29 logs
      

3. 配置修改

   vi conf/example/instance.properties
   
   ## mysql serverId
   canal.instance.mysql.slaveId = 1234
   #position info，需要改成自己的数据库信息
   canal.instance.master.address = 127.0.0.1:3306 
   canal.instance.master.journal.name = 
   canal.instance.master.position = 
   canal.instance.master.timestamp = 
   #canal.instance.standby.address = 
   #canal.instance.standby.journal.name =
   #canal.instance.standby.position = 
   #canal.instance.standby.timestamp = 
   #username/password，需要改成自己的数据库信息
   canal.instance.dbUsername = canal  
   canal.instance.dbPassword = canal
   canal.instance.defaultDatabaseName =
   canal.instance.connectionCharset = UTF-8
   #table regex
   canal.instance.filter.regex = .\*\\\\..\*
   

   注意：

   • canal.instance.connectionCharset 代表数据库的编码方式对应到 java 中的编码类型，比如 UTF-8，GBK , ISO-8859-1
   • 如果系统是1个 cpu，需要将 canal.instance.parser.parallel 设置为 false

4. 启动

   sh bin/startup.sh
   

5. 查看server日志

   vi logs/canal/canal.log
   
   2013-02-05 22:45:27.967 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.
   2013-02-05 22:45:28.113 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[10.1.29.120:11111]
   2013-02-05 22:45:28.210 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......
   

6. 查看instance的日志

   vi logs/example/example.log
   
   2013-02-05 22:50:45.636 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
   2013-02-05 22:50:45.641 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
   2013-02-05 22:50:45.803 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
   2013-02-05 22:50:45.810 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....
   

7. 关闭

   sh bin/stop.sh