Canal安装教程

文章目录

  • 1.开启Mysql的同步模式
  • 2.docker环境下安装Canal
    • 2.1 安装canal-admin
      • 2.1.1 获取镜像
      • 2.1.2 在mysql数据库中导入canal-manage数据库
      • 2.1.3 启动canal-admin镜像
    • 2.2 安装Canal-Server
      • 2.2.1 下载镜像
      • 2.2.2 启动镜像
    • 2.3 查看是否配置成功
  • 3.Windows环境下安装Canal
    • 3.1 管理端Admin操作
    • 3.2 配置修改
    • 3.3 启动

本文将详细介绍Canal在docker环境和windows环境下的安装教程

由于同步是基于binlog实现的,所以要先在mysql中开启binlog

1.开启Mysql的同步模式

修改my.cnf配置信息

server-id = 1
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
  • docker环境下:/etc/mysql/my.cnf
  • windows环境下:my.ini
    Canal安装教程_第1张图片

重启mysql服务,然后连接到mysql服务,使用指令查看是否已经开启

show variables like '%log_bin%';

Canal安装教程_第2张图片

源数据库创建一个canal账号,并且设置slave,dump权限

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

Canal安装教程_第3张图片

因为mysql8.0.3后身份检验方式为caching_sha2_password,但canal使用的是mysql_native_password,因此需要设置检验方式(如果该版本之前的可跳过),否则会报错IOException: caching_sha2_password Auth failed

ALTER USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY 'canal';
select host,user,plugin from mysql.user ;

Canal安装教程_第4张图片

2.docker环境下安装Canal

为了方便对canal-server以及后期集群的管理,我们先安装canal-admin

2.1 安装canal-admin

2.1.1 获取镜像

docker pull canal/canal-admin

2.1.2 在mysql数据库中导入canal-manage数据库

  • sql内容如下:
/*
Navicat MySQL Data Transfer

Source Server         : local_docker_3307
Source Server Version : 80027
Source Host           : 192.168.0.104:3307
Source Database       : canal_manager

Target Server Type    : MYSQL
Target Server Version : 80027
File Encoding         : 65001

Date: 2023-04-05 16:23:13
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for canal_adapter_config
-- ----------------------------
DROP TABLE IF EXISTS `canal_adapter_config`;
CREATE TABLE `canal_adapter_config` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `category` varchar(45) NOT NULL,
  `name` varchar(45) NOT NULL,
  `status` varchar(45) DEFAULT NULL,
  `content` text NOT NULL,
  `modified_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

-- ----------------------------
-- Records of canal_adapter_config
-- ----------------------------

-- ----------------------------
-- Table structure for canal_cluster
-- ----------------------------
DROP TABLE IF EXISTS `canal_cluster`;
CREATE TABLE `canal_cluster` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `name` varchar(63) NOT NULL,
  `zk_hosts` varchar(255) NOT NULL,
  `modified_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

-- ----------------------------
-- Records of canal_cluster
-- ----------------------------

-- ----------------------------
-- Table structure for canal_config
-- ----------------------------
DROP TABLE IF EXISTS `canal_config`;
CREATE TABLE `canal_config` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `cluster_id` bigint DEFAULT NULL,
  `server_id` bigint DEFAULT NULL,
  `name` varchar(45) NOT NULL,
  `status` varchar(45) DEFAULT NULL,
  `content` text NOT NULL,
  `content_md5` varchar(128) NOT NULL,
  `modified_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `sid_UNIQUE` (`server_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

-- ----------------------------
-- Records of canal_config
-- ----------------------------

-- ----------------------------
-- Table structure for canal_instance_config
-- ----------------------------
DROP TABLE IF EXISTS `canal_instance_config`;
CREATE TABLE `canal_instance_config` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `cluster_id` bigint DEFAULT NULL,
  `server_id` bigint DEFAULT NULL,
  `name` varchar(45) NOT NULL,
  `status` varchar(45) DEFAULT NULL,
  `content` text NOT NULL,
  `content_md5` varchar(128) DEFAULT NULL,
  `modified_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `name_UNIQUE` (`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

-- ----------------------------
-- Records of canal_instance_config
-- ----------------------------

-- ----------------------------
-- Table structure for canal_node_server
-- ----------------------------
DROP TABLE IF EXISTS `canal_node_server`;
CREATE TABLE `canal_node_server` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `cluster_id` bigint DEFAULT NULL,
  `name` varchar(63) NOT NULL,
  `ip` varchar(63) NOT NULL,
  `admin_port` int DEFAULT NULL,
  `tcp_port` int DEFAULT NULL,
  `metric_port` int DEFAULT NULL,
  `status` varchar(45) DEFAULT NULL,
  `modified_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

-- ----------------------------
-- Records of canal_node_server
-- ----------------------------

-- ----------------------------
-- Table structure for canal_user
-- ----------------------------
DROP TABLE IF EXISTS `canal_user`;
CREATE TABLE `canal_user` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `username` varchar(31) NOT NULL,
  `password` varchar(128) NOT NULL,
  `name` varchar(31) NOT NULL,
  `roles` varchar(31) NOT NULL,
  `introduction` varchar(255) DEFAULT NULL,
  `avatar` varchar(255) DEFAULT NULL,
  `creation_date` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8mb3;

-- ----------------------------
-- Records of canal_user
-- ----------------------------
INSERT INTO `canal_user` VALUES ('1', 'admin', '6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9', 'Canal Manager', 'admin', null, null, '2019-07-14 00:05:28');

导入之后的效果如下图所示:
Canal安装教程_第5张图片

2.1.3 启动canal-admin镜像

docker run -d --name canal-admin  -e spring.datasource.address=192.168.0.104:3307 -e spring.datasource.database=canal_manager -e spring.datasource.username=root -e spring.datasource.password=root -p 8089:8089 canal/canal-admin:latest

自己按照自己的环境对数据的地址、端口、用户名、密码进行修改

启动之后,访问:http://localhost:8089,默认账号密码为admin/123456
Canal安装教程_第6张图片

2.2 安装Canal-Server

2.2.1 下载镜像

docker pull canal/canal-server:latest

Canal安装教程_第7张图片

2.2.2 启动镜像

docker run -d --name canal-server -e canal.instance.master.address=192.168.0.104:3307  -e canal.instance.dbUsername=root  -e canal.instance.dbPassword=root  -e canal.admin.manager=192.168.0.104:8089 -e canal.admin.port=11110 -e canal.admin.user=admin -e canal.admin.passwd=4ACFE3202A5FF5CF467898FC58AAB1D615029441   -p 11111:11111 canal/canal-server:latest

在这里插入图片描述

初次启动后如果我们需要修改instance.properties,建议复制到宿主机进行修改

docker cp canal-server:/home/admin/canal-server/conf/example/instance.properties  /home/ninesun/mydata/canal/conf/

PS:/home/ninesun/mydata/canal/conf/是我宿主机的目录,自己选择自己的复制地址

具体需要修改的内容大致如下图所示,自己按照需求修改

instance.properties配置描述
Canal安装教程_第8张图片

同时我们还需要设置全量同步
查询源mysql服务器的binlog位置

# 源mysql服务器中登陆mysql执行
show binary logs;

Canal安装教程_第9张图片

Canal安装教程_第10张图片

然后将你修改好的配置文件复制回容器内

docker cp /home/ninesun/mydata/canal/conf/instance.properties  canal-server:/home/admin/canal-server/conf/example/instance.properties  

重启镜像即可

docker restart canal

2.3 查看是否配置成功

  • 1.进入canal容器内
docker exec -it canal bash
cd  ./canal-server/logs/example/
cat ./example.log

Canal安装教程_第11张图片
若出现以下内容则表示配置成功
Canal安装教程_第12张图片
刷新admin管理页面的列表就可以看到我们的server已经注册进来了
Canal安装教程_第13张图片
至此docker安装canal就结束了

3.Windows环境下安装Canal

下载地址:https://github.com/alibaba/canal/releases
Canal安装教程_第14张图片

同时Canal是基于Java开发的,所以要保证你的电脑上有jdk或jre

3.1 管理端Admin操作

创建一个canal_manager数据库,编码格式utf8mb4(如果未安装admin管理服务则不需要该数据库),该数据库用于远程统一配置管理
Canal安装教程_第15张图片

导入脚本canal_manager.sql,初始化数据库结构数据,该脚本文件在canal.admin下的conf目录中
Canal安装教程_第16张图片

3.2 配置修改

查询源mysql服务器的binlog位置

# 源mysql服务器中登陆mysql执行
show binary logs;

Canal安装教程_第17张图片

修改example/instance.properties
Canal安装教程_第18张图片

具体修改内容和我们docker里配置的一样

3.3 启动

双击startup.sh即可
Canal安装教程_第19张图片

你可能感兴趣的:(mysql,canal,docker,binlog,全量复制,数据同步)