ClickHouse（七）MaterializeMySQL引擎

1、概述

        MySQL的用户群体很大，为了能够增强护具的实时性，很多解决方案会利用binlog将数据写入到ClickHouse。为了能够监听binlog事件，我们需要用到类似canal这样的第三方中间件，这无疑增加了系统的复杂度。

        ClickHouse20.8.2.3版本新增加了MaterializeMySQL的database引擎，该database能映射到MySQL中的某个database，并自动在ClickHouse中创建对应的ReplacingMergeTree。ClickHouse服务做为MySQL副本，读Binlog并执行DDL和DML请求，实现了基于MySQL Binlog机制的业务数据库实时同步功能。

1.1、特点

1. MaterializeMySQL同时支持全量和增量同步，在database创建之初会全量同步MySQL中的表和数据，之后则会通过binlog增量同步。
2. MaterializeMySQL database为其所创建的每张ReplacingMergeTree自动增加了_sign和_version字段。

        其中,_version用作ReplacingMergeTree的ver版本，每当监听到insert、update和delete事件时，在database内全局自增。而_sign则用于标记会否被删除，取值1或者-1。

        目前MaterializeMySQL支持如下几种binlog事件：

• MYSQL_WRITE_ROW_EVENT：_sign=1,_version++
• MYSQL_DELETE_ROW_EVENT：_sign=-1,_version++
• MYSQL_UPDATE_ROW_EVENT：新数据 _sign=1
• MYSQL_QUERY_EVENT：支持CREATE TABLE、DROP TABLE、RENAME TABLE等。

1.2、使用细则

        1、DDL查询

        MySQL查询被转换成相应的ClickHouse DDL查询（ALTER,CREATE,DROP,RENAME）。如果ClickHouse并不能解析某些DLL查询，该查询将被忽略。

        2、数据复制

        MaterializeMySQL不支持直接插入、删除和更新查询，而是将DLL语句进行相应转换：

• MySQL INSERT查询被转换为INSERT with_sign=1。
• MySQL DELETE查询被转换为INSERT with_sign=-1。
• MySQL UPDATE查询被转换为INSERT with_sign=1 和 INSERT with_sign=-1。

        3、SELECT查询

        如果在SELECT查询中没有指定_version，则使用FINAL修饰符，返回_version的最大值对应的数据，即最新版本的数据。

        如果在SELECT查询中没有指定_sign，则默认会用WHERE _sign=1,即返回未删除状态（_sign=1）的数据。

        4、索引转换

        ClickHouse数据库表会自动将MySQL主键和索引子句转换为ORDER BY元组。

        ClickHouse只有一个物理顺序，由ORDER BY子句决定。如果需要创建新的物理顺序，请使用物化视图。

2、案例实操

2.1、MySQL开启binlog和GTID模式

        1、确保MySQL开启了binlog功能，且格式为ROW

        打开/etc/my.cnf，在[mysqld]下添加：

server-id=1
log-bin=mysql-bin
binlog_format=ROW

        2、开启GTID模式

        如果clickhouse使用的是20.8 prestable之后发布的版本，那么MySQL还需要配置开启GTID模式，这种方式在 mysql主从模式下可以确保数据同步的一致性（主从切换时）。

gtid-mode=on
enforce-gtid-consistency=1 # 设置为主从强一致性
log-slave-updates=1 # 记录日志

        GTID是MySQL复制增强版，从MySQL5.6版本开始支持，目前已经是MySQL主流复制模式。它为每个event分配一个全局唯一ID和序号，我们可以不用关心MySQL集群主从拓扑结构，直接告知MySQL这个GTID即可。

        3、重启MySQL

2.2、准备MySQL表和数据

        1、在MySQL中创建数据表并写入数据

create table testck.t_organization(
	id int(11) not null auto_increment,
	`code`  int not null,
	`name` text default null,
	`updatetime` datetime default null,
	primary key(`id`),
	UNIQUE KEY(`code`)
) ENGINE = INNODB;

insert into testck.t_organization (code,name,updatetime) VALUES (1000,'ABCDEG',NOW());
insert into testck.t_organization (code,name,updatetime) VALUES (2000,'QWER',NOW());
insert into testck.t_organization (code,name,updatetime) VALUES (3000,'TQWQE',NOW());



create table testck.t_user(
	id int(11) not null auto_increment,
	`code`  int not null,
	primary key(`id`)
) ENGINE = INNODB;

insert into testck.t_user (code) VALUES (1);

2.3、开启ClickHouse物化引擎

        set allow_experimental_database_materialize_mysq1=1;

2.4、创建复制管道

        在ClickHouse中创建MaterializeMySQL数据库

CREATE DATABASE test_binlog ENGINE = MaterializeMySQL('hadoop2:3306','testck','root','123456');

        其中4个参数分别是MySQL地址、database、username和password。

2.5、修改和删除数据

        在MySQL中执行以下操作：

update t_organization set name = CONCAT(`name`,'-concatv1') where id = 1;

delete  from t_organization where id = 2;

        在ClickHoue中查看数据：

         在查询时，对于已经被删除的数据，_sign=-1，ClickHouse会自动重写SQL，将_sign=-1的数据过滤掉；

        对于修改的数据，则自动重写SQL，只查询版本号最大的。

2.6、新建表和删除表

        在mysql中执行新建表和删除表，会实时同步到ClickHouse。

3、和Engine=MySQL的区别

        Engine=MySQL可以在ClickHouse中对MySQL数据进行操作。MaterializeMySQL主是用于实时同步MySQL数据，无法对MySQL进行操作。