Maxwell：异构数据源实时同步工具

Maxwell：异构数据源实时同步工具

1、概述

​ Maxwell:实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。

​ Maxwell的工作原理是实时读取MySQL数据库的二进制日志（Binlog），从中获取变更数据，再将变更数据以JSON格式发送至Kafka等流处理平台。

JSON数据格式

字段	解释
database	变更数据所属的数据库
table	表更数据所属的表
type	数据变更类型
ts	数据变更发生的时间
xid	事务id
commit	事务提交标志，可用于重新组装事务
data	对于insert类型，表示插入的数据；对于update类型，标识修改之后的数据；对于delete类型，表示删除的数据
old	对于update类型，表示修改之前的数据，只包含变更字段

2、原理解析

​ 二进制日志（Binlog）是MySQL服务端非常重要的一种日志，它会保存MySQL数据库的所有数据变更记录。Binlog的主要作用包括主从复制和数据恢复。Maxwell的工作原理和主从复制密切相关。

BinLog与HBase中的WAL(Write ahead log)预写日志功能类似，记录对数据库操作的语句。

2.1 Mysql主从复制

• 应用场景

  • 数据库的热备：主数据库服务器故障后，可切换到从数据库继续工作。
  • 读写分离：主数据库只负责业务数据的写入操作，而多个从数据库只负责业务数据的查询工作，在读多写少场景下，可以提高数据库工作效率。

• 工作原理

  • Master主库将数据变更记录，写到二进制日志(binary log)中
  • Slave从库向mysql master发送dump协议，将master主库的binary log events拷贝到它的中继日志(relay log)
  • Slave从库读取并回放中继日志中的事件，将改变的数据同步到自己的数据库。

存在的问题：由于主从执行的命令一样，但当产生随机数或now()插入当前时间戳等情况时会造成主从不一致的情况。

Maxwell将自己伪装成slave，并遵循MySQL主从复制的协议，从master同步数据。

3、Maxwell安装部署

1. 下载Maxwell (https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz)

   Maxwell-1.30.0及以上版本不再支持JDK1.8

2. 解压安装到指定目录

   tar -zxvf maxwell-1.29.2.tar.gz -C /opt/module/
   

3. 修改配置文件/etc/my.cnf配置Mysql，启动Mysql BinLog

   my.cnf

   [mysqld]
   
   #数据库id
   server-id = 1
   #启动binlog，该参数的值会作为binlog的文件名
   log-bin=mysql-bin
   #binlog类型，maxwell要求为row类型
   binlog_format=row
   #启用binlog的数据库，需根据实际情况作出修改
   binlog-do-db=gmall
   

   Statement-based：基于语句，Binlog会记录所有写操作的SQL语句，包括insert、update、delete等。
   优点： 节省空间
   缺点： 有可能造成数据不一致，例如insert语句中包含now()函数。
   Row-based：基于行，Binlog会记录每次写操作后被操作行记录的变化。
   优点：保持数据的绝对一致性。
   缺点：占用较大空间。
   mixed：混合模式，默认是Statement-based，如果SQL语句可能导致数据不一致，就自动切换到Row-based。
   Maxwell要求Binlog采用Row-based模式。

4. 重启mysql服务

   sudo systemctl restart mysqld
   

5. 创建Mexwell所需数据库和用户名

   Maxwell需要在MySQL中存储其运行过程中的所需的一些数据，包括binlog同步的断点位置（Maxwell支持断点续传）

   • 创建数据库

     create database maxwell
     

   • 调整Mysql数据库密码等级

     每次重启mysql服务后，如果需要设置简单的密码，则需要进行如下操作

      set global validate_password_policy=0;
      set global validate_password_length=4;
     

   • 创建Maxwell用户并赋予其必要权限

     创建maxwell用户，指定密码为maxwell，并且可以通过任意的ip使用该用户连接mysql；

     将maxwell库中所有表的全部权限赋予通过任意ip使用maxwell登录mysql的用户；

     将其与库的表赋予部分权限。

     CREATE USER 'maxwell'@'%' IDENTIFIED BY 'maxwell';
     GRANT ALL ON maxwell.* TO 'maxwell'@'%';
     GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';
     

6. 配置Maxwell

   • 切换至Maxwell目录并修改Maxwell配置文件名称

     cp config.properties.example config.properties
     

   • 修改Maxwell配置文件config.properties

     #Maxwell数据发送目的地，可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis
     producer=kafka
     #目标Kafka集群地址
     kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
     #目标Kafka topic，可静态配置，例如:maxwell，也可动态配置，例如：%{database}_%{table}
     kafka_topic=maxwell
     
     #MySQL相关配置
     host=hadoop102
     user=maxwell
     password=maxwell
     jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai
     

7. 依次启动hadoop集群、zookeeper、kafka

8. 启动maxwell

   启动前先在kafka中创建好maxwell主题，否则会报错。可以在日志文件中查看。
   此问题也可以通过修改maxwell源码解决。

   /opt/module/maxwell/bin/maxwell --config /opt/module/maxwell/config.properties --daemon
   

   停止maxwell

   ps -ef | grep maxwell | grep -v grep | grep maxwell | awk '{print $2}' | xargs kill -9
   

maxwell启停脚本mxw

#!/bin/bash

MAXWELL_HOME=/opt/module/maxwell

status_maxwell(){
    result=`ps -ef | grep maxwell | grep -v grep | wc -l`
    return $result
}


start_maxwell(){
    status_maxwell
    if [[ $? -lt 1 ]]; then
        echo "启动Maxwell"
        $MAXWELL_HOME/bin/maxwell --config $MAXWELL_HOME/config.properties --daemon
    else
        echo "Maxwell正在运行"
    fi
}


stop_maxwell(){
    status_maxwell
    if [[ $? -gt 0 ]]; then
        echo "停止Maxwell"
        ps -ef | grep maxwell | grep -v grep | awk '{print $2}' | xargs kill -9
    else
        echo "Maxwell未在运行"
    fi
}


case $1 in
    start )
        start_maxwell
    ;;
    stop )
        stop_maxwell
    ;;
    restart )
       stop_maxwell
       start_maxwell
    ;;
esac

4、增量数据同步

• 启动Kafka消费者

  bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic maxwell
  

• 模拟生成数据

   java -jar gmall2020-mock-db-2021-01-22.jar
  

• 观察Kafka消费者可以查看到消费的数据

5、历史数据全量同步

​ 我们在进行增量同步之前，先进行一次历史数据的全量同步。这样就能保证得到一个完整的数据集。Maxwell提供了bootstrap功能来进行历史数据的全量同步。

5.1 Maxwell-bootstrap

/opt/module/maxwell/bin/maxwell-bootstrap --database gmall --table user_info --config /opt/module/maxwell/config.properties

bootstrap数据格式

{
    "database": "fooDB",
    "table": "barTable",
    "type": "bootstrap-start",
    "ts": 1450557744,
    "data": {}
}
{
    "database": "fooDB",
    "table": "barTable",
    "type": "bootstrap-insert",
    "ts": 1450557744,
    "data": {
        "txt": "hello"
    }
}
{
    "database": "fooDB",
    "table": "barTable",
    "type": "bootstrap-insert",
    "ts": 1450557744,
    "data": {
        "txt": "bootstrap!"
    }
}
{
    "database": "fooDB",
    "table": "barTable",
    "type": "bootstrap-complete",
    "ts": 1450557744,
    "data": {}
}

• 第一条type为bootstrap-start和最后一条type为bootstrap-complete的数据，是bootstrap开始和结束的标志，不包含数据，中间的type为bootstrap-insert的数据才包含数据。
• 一次bootstrap输出的所有记录的ts都相同，为bootstrap开始的时间。

DataX和MaxWell不能同时使用于一张表，原因是DataX的数据与MaxWell的数据格式不同。DataX是一条一条的信息(DataX通过JSON格式的文件作为配置文件，定制两端的Reader和Writer的信息(表)格式)，而MaxWell是一条一条JSON格式的信息。