Canal安装与配置，推送数据到kafka

背景：

canal主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。所以前提基础是mysql。canal服务监听mysql服务的binlog日志，获取增量变更进行同步

前提说明：

本次安装配置是在公司的dev环境，实现的功能是：canal通过监听mysql服务的binlog日志，并将消息推送到kafka。具体服务器地址不便展示，大家使用自己的服务器地址即可。

配置说明：

mysql:

mysql服务器地址：xxxxx

mysql安装路径：/usr/local/mysql/mysql-8.0.11

mysql配置文件my.cnf路径：/etc

canal:

canal服务器地址：xxxxx

canal安装路径：/usr/local/canal

canal全局配置文件canal.properties：/usr/local/canal/conf

canal具体实例配置文件instance.properties：/usr/local/canal/conf/example

kafka:

kafka集群地址（测试环境）：xxxxxx

第一步：配置Mysql服务

a.首先判断mysql服务是否已经开启binlog，ON代表已开启，OFF代表未开启

如果OFF未开启，则需要在原有的mysql配置文件my.cnf中添加如下配置：

    log-bin=mysql-bin # 打开二进制日志功能.

binlog-format=ROW # 日志中会记录每一行数据被修改的形式，

server-id=1 # 表明当前mysql服务器作为主服务器，id标识唯一，不可与其他slave重复

b.重启mysql服务

c.创建canal用户

mysql创建了canal用户,并开启远程连接，相当于模拟一个Mysql的slave

create user canal identified by 'canal';

赋予权限，必不可少

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';

flush privileges;

第二步：安装配置canal

a.下载：https://github.com/alibaba/canal/releases

b.解压

c.修改全局配置文件

关键配置文件参数说明：

canal.port = 11111 #对外提供的socket接口。如端口不冲突，使用默认即可

canal.serverMode = kafka # 这一步是关键，选择kafka的推送模式，发送kafka消息

kafka.bootstrap.servers = xxxxxx # 配置kafka服务器地址

如无特别需求，其他配置不必改动

d.修改实例配置文件参数说明：

canal.instance.master.address=xxxxx #mysql服务器地址和端口

canal.instance.dbUsername=canal #mysql 上面创建的canal用户 用户名

canal.instance.dbPassword=canal #mysql 上面创建的canal用户 密码

canal.instance.connectionCharset = UTF-8 # mysql 数据解析编码

canal.instance.filter.regex=.*\\..*  # mysql 数据解析关注的表，此处配置标识是全库全表都关注

canal.mq.dynamicTopic=.* #转发kafka动态topic配置规则，此处是一库一topic

canal.mq.dynamicTopic=.*\\..* #此处配置是一库一表一topic,例如库：iot_device,表：terminal,转发后的topic：iot_device_terminal

canal.mq.partition=0 #设置kafka存放分区

第三步：启动canal

cd /usr/local/canal/bin

./startup.sh

启动完成后，看下日志，无报错即可。

第四步：验证

随便选择监听的数据库，选择一张表，执行sql语句，去kafka查询是否创建了相应的topic

执行了iot_device库的，station_mac表，插入sql语句

此时登录kafka查看topic已被建立，这里说明一下：只有监听的表产生了row变动，topic才会创建出来。

监听的消息体：

{

    "data": [{

        "id": "3",

        "station_mac": "00:02:a0:00:97:13",

        "station_no": "1700001",

        "create_time": null,

        "update_time": null,

        "is_deleted": null

    }],

    "database": "iot_device",

    "es": 1663899674000,

    "id": 54,

    "isDdl": false,

    "mysqlType": {

        "id": "int(11)",

        "station_mac": "varchar(150)",

        "station_no": "varchar(150)",

        "create_time": "timestamp",

        "update_time": "timestamp",

        "is_deleted": "tinyint(2)"

    },

    "old": null,

    "pkNames": ["id"],

    "sql": "",

    "sqlType": {

        "id": 4,

        "station_mac": 12,

        "station_no": 12,

        "create_time": 93,

        "update_time": 93,

        "is_deleted": -6

    },

    "table": "station_mac",

    "ts": 1663899674377,

    "type": "INSERT"

}

canal安装配置过程中遇到的问题：

第一个坑：

原因：

自MySQL 8.0.3开始，身份验证插件默认使用caching_sha2_password

解决方案：

修改canal用户对应的身份验证插件为mysql_native_password

ALTER USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY 'canal';

flush privileges;

第二个坑(只有canal和mysql安装在一台服务器时会遇到)：

是我本地安装遇到的，我将canal与mysql安装到一个服务器上，我给canal用户配置的允许所有ip可以连接该mysql服务，那么此时，canal配置里面mysql服务器配置成localhost就不允许连接本机mysql了。

解决：

将canal用户的连接权限配置成只允许localhost本地连接即可