ClickHouse-MaterializeMySQL引擎

MaterializeMySQL 引擎

概述

MySQL 的用户群体很大,为了能够增强数据的实时性,很多解决方案会利用 binlog 将数据写入到 ClickHouse。为了能够监听 binlog 事件,我们需要用到类似 canal 这样的第三方中间件,这无疑增加了系统的复杂度。

ClickHouse 20.8.2.3 版本新增加了 MaterializeMySQL 的 database 引擎,该 database 能映射到MySQL 中 的 某 个database , 并 自 动 在ClickHouse 中 创 建 对 应 的ReplacingMergeTree。ClickHouse 服务做为 MySQL 副本,读取 Binlog 并执行 DDL 和 DML 请求,实现了基于 MySQL Binlog 机制的业务数据库实时同步功能。

有一个叫做Mysql的引擎是ClickHouse操作Mysql的。

特点

(1)MaterializeMySQL 同时支持全量和增量同步,在 database 创建之初会全量同步MySQL 中的表和数据,之后则会通过 binlog 进行增量同步。

(2)MaterializeMySQL database 为其所创建的每张 ReplacingMergeTree 自动增加了_sign 和 _version 字段。

其中, _version 用作 ReplacingMergeTree 的 ver 版本参数,每当监听到 insert、 update和 delete 事件时,在 databse 内全局自增；

而 _sign 则用于标记是否被删除,取值 1 或者 -1；

目前 MaterializeMySQL 支持如下几种 binlog 事件:

• MYSQL_WRITE_ROWS_EVENT:_sign = 1,_version ++
• MYSQL_DELETE_ROWS_EVENT:_sign = -1,_version ++
• MYSQL_UPDATE_ROWS_EVENT: 新数据 _sign = 1
• MYSQL_QUERY_EVENT: 支持 CREATE TABLE 、DROP TABLE 、RENAME TABLE 等。

使用细则

(1)DDL 查询

MySQL DDL 查询被转换成相应的 ClickHouse DDL 查询(ALTER, CREATE, DROP, RENAME)。如果 ClickHouse 不能解析某些 DDL 查询,该查询将被忽略。

(2)数据复制

MaterializeMySQL引擎创建的表不支持直接插入、删除和更新查询,而是将 DDL 语句进行相应转换:

MySQL INSERT 查询被转换为 INSERT with _sign=1。

MySQL DELETE 查询被转换为 INSERT with _sign=-1。

MySQL UPDATE 查询被转换成 INSERT with _sign=1 和 INSERT with _sign=-1。

(3)SELECT 查询

如果在 SELECT 查询中没有指定_version,则使用 FINAL 修饰符,返回_version 的最大值对应的数据,即最新版本的数据。

如果在 SELECT 查询中没有指定_sign,则默认使用 WHERE _sign=1,即返回未删除状态(_sign=1)的数据。

(4)索引转换

ClickHouse 数据库表会自动将 MySQL 主键和索引子句转换为 ORDER BY 元组。

ClickHouse 只有一个物理顺序,由 ORDER BY 子句决定。如果需要创建新的物理顺序,请使用物化视图。

案例实操

MySQL 开启 binlog 和 GTID 模式

(1)确保 MySQL 开启了 binlog 功能,且格式为 ROW

打开/etc/my.cnf,在[mysqld]下添加:

server-id=1
log-bin=mysql-bin
binlog_format=ROW

(2)开启 GTID 模式

如果如果 clickhouse 使用的是 20.8 prestable 之后发布的版本,那么 MySQL 还需要配置开启 GTID 模式, 这种方式在 mysql 主从模式下可以确保数据同步的一致性(主从切换时)。

gtid-mode=on
enforce-gtid-consistency=1 # 设置为主从强一致性
log-slave-updates=1        # 记录日志

GTID 是 MySQL 复制增强版,从 MySQL 5.6 版本开始支持,目前已经是 MySQL 主流复制模式。它为每个 event 分配一个全局唯一 ID 和序号,我们可以不用关心 MySQL 集群主从拓扑结构,直接告知 MySQL 这个 GTID 即可。

(3)重启 MySQL

sudo systemctl restart mysqld

准备 MySQL 表和数据

(1)在 MySQL 中创建数据表并写入数据

CREATE DATABASE testck;

CREATE TABLE `testck`.`t_organization` (
    `id` int(11) NOT NULL AUTO_INCREMENT,
    `code` int NOT NULL,
    `name` text DEFAULT NULL,
    `updatetime` datetime DEFAULT NULL,
    PRIMARY KEY (`id`),
    UNIQUE KEY (`code`)
) ENGINE=INNODB;

INSERT INTO testck.t_organization (code, name,updatetime)
VALUES(1000,'Realinsight',NOW());
INSERT INTO testck.t_organization (code, name,updatetime)
VALUES(1001, 'Realindex',NOW());
INSERT INTO testck.t_organization (code, name,updatetime)
VALUES(1002,'EDT',NOW());

CREATE TABLE `testck`.`t_user` (
    `id` int(11) NOT NULL AUTO_INCREMENT,
    `code` int,
    PRIMARY KEY (`id`)
) ENGINE=InnoDB;

INSERT INTO testck.t_user (code) VALUES(1);

开启 ClickHouse 物化引擎

set allow_experimental_database_materialize_mysql=1;

创建复制管道

(1)ClickHouse 中创建 MaterializeMySQL 数据库

CREATE DATABASE test_binlog ENGINE = MaterializeMySQL('10.10.10.208:3306','testck','root','zhkjmysql@002396');

其中 4 个参数分别是 MySQL 地址、databse、username 和 password。

(2)查看 ClickHouse 的数据

use test_binlog;
show tables;
select * from t_organization;
select * from t_user;

修改数据

// 在 MySQL 中修改数据:
update t_organization set name = CONCAT(name,'-v1') where id = 1

// 查看 clickhouse 日志可以看到 binlog 监听事件,查询 clickhouse
select * from t_organization;

删除数据

// MySQL 删除数据:
DELETE FROM t_organization where id = 2;

// ClicKHouse,日志有 DeleteRows 的 binlog 监听事件,查看数据:
select * from t_organization;

// 在刚才的查询中增加 _sign 和 _version 虚拟字段
select *,_sign,_version from t_organization order by _signdesc,_version desc;

在查询时,对于已经被删除的数据,_sign=-1,ClickHouse 会自动重写 SQL,将 _sign =-1 的数据过滤掉;

对于修改的数据,则自动重写 SQL,为其增加 FINAL 修饰符。

select * from t_organization
等同于
select * from t_organization final where _sign = 1

删除表

// 在 mysql 执行删除表
drop table t_user;

// 此时在 clickhouse 处会同步删除对应表,如果查询会报错
show tables;
select * from t_user;
DB::Exception: Table scene_mms.scene does not exist..

// mysql 新建表,clickhouse 可以查询到
CREATE TABLE `testck`.`t_user` (
    `id` int(11) NOT NULL AUTO_INCREMENT,
    `code` int,
	PRIMARY KEY (`id`)
) ENGINE=InnoDB;
INSERT INTO testck.t_user (code) VALUES(1);

// ClickHouse 查询
show tables;
select * from t_user;