使用 Docker 部署 canal 服务

 1.首先docker拉去canal镜像,这里不加版本号，默认为latest

docker pull canal/canal-server

2.查看镜像是否拉去成功

docker images

3.拉去完成后，先启动下canal，主要是为了从里面copy出配置文件

#启动镜像 
docker run --name canal -d canal/canal-server
#进入容器 查看配置文件路径
docker exec -it canal bash

#找到文件位置后 exit退出容器 将容器内部文件copy到外部
docker cp canal:/home/admin/canal-server/conf/canal.properties /root/canal
docker cp canal:/home/admin/canal-server/conf/example/instance.properties /root/canal

4.文件copy完成后主要是修改instance这个文件。第一个红框是你需要监听数据库的地址和端口；第二个红框是你数据库的用户和密码，这个用户信息一定是要有全部权限的用户，非root用户；第三个是匹配数据表的规则，我这里默认为全部表

 5.修改完成后，将之前的canal容器关闭，重新起一个新的容器.

#关闭容器
docker stop canal

#移除容器
docker rm canal

#启动新的 这里-v是将外部的文件挂载到容器内部 这样就不用每次启动都要配置参数了
docker run --name canal -p 11111:11111 -d \
-v /root/canal/instance.properties:/home/admin/canal-server/conf/example/instance.properties \
-v /root/canal/canal.properties:/home/admin/canal-server/conf/canal.properties \
-v /root/canal/logs/:/home/admin/canal-server/logs/ \
canal/canal-server:v1.1.4 

注意: 需要注释掉,不然修改mysql数据时,没有向java客户端返回响应

canal.properties 

MySQL 配置

可以命令查找文件

find / -name mysqld.cnf

进入容器编辑:

vi /etc/mysql/mysql.conf.d/mysqld.cnf

修改 MySQL 配置文件 my.cnf，开启 binlog 写入功能，并配置模式为 ROW。

log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=66 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

重启数据库，查看配置是否生效。

mysql> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.19 sec)
mysql>
mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+
1 row in set (0.00 sec)
mysql>
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 |     4230 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

然后创建用户，并授权。

mysql> CREATE USER canal IDENTIFIED BY 'canal';
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%%';
mysql> FLUSH PRIVILEGES;
mysql> show grants for 'canal'@'%%';
+----------------------------------------------------------------------------+
| Grants for canal@%%                                                        |
+----------------------------------------------------------------------------+
| GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO `canal`@`%%` |
+----------------------------------------------------------------------------+
1 row in set (0.00 sec)

 7.使用java代码来进行测试，这里是依赖

坑记录

搭建的测试环境一切正常，但放到项目 beta 环境上还是遇到了一个问题：

fetch failed by table meta:schemeName.tableName

查了一下说是由于表删除，或者表结构变更引起的解析错误，增加一条配置就可以解决：

canal.instance.filter.table.error=true

加上之后，报错信息的确都没有了，但消费出来的数据没有 ROWDATA

调试程序，并不怕碰到报错，怕的是没有报错，然后程序还不正常。

忽略表错误的配置删除，仔细看了一遍日志，发现还有一个报错：

Caused by: java.io.IOException: ErrorPacket [errorNumber=1142, fieldCount=-1, message=SHOW command denied to user

是权限不够， binlog 账号默认是没有 select 权限的，加上之后，问题就成功解决了。