大数据项目之电商数仓、业务数据通道、Maxwell简介、Maxwell原理、MySQL主从复制读写分离、Maxwell部署
文章目录
- 7. 业务数据采集模块
-
- 7.1 采集通道
-
- 7.1.1 业务数据通道
- 7.2 采集工具
-
- 7.2.1 Maxwell简介
-
- 7.2.1.1 Maxwell概述
- 7.2.1.2 Maxwell输出数据格式
- 7.2.2 Maxwell原理
-
- 7.2.2.1 MySQL二进制日志
- 7.2.2.2 MySQL主从复制
-
- 7.2.2.2.1 主从复制的应用场景如下
- 7.2.2.2.2 主从复制的工作原理如下
- 7.2.2.3 Maxwell原理
- 7.2.3 Maxwell部署
-
- 7.2.3.1 安装Maxwell
-
- 7.2.3.1.1 下载安装包
- 7.2.3.1.2 将安装包解压至/opt/module
- 7.2.3.2 配置MySQL
-
- 7.2.3.2.1 启用MySQL Binlog
-
- 7.2.3.2.1.1 修改MySQL配置文件/etc/my.cnf
- 7.2.3.2.1.2 增加如下配置
- 7.2.3.2.1.3 MySQL Binlog模式
- 7.2.3.2.1.4 重启MySQL服务
- 7.2.3.2.2 创建Maxwell所需数据库和用户
-
- 7.2.3.2.2.1 创建数据库
- 7.2.3.2.2.2 调整MySQL数据库密码级别
- 7.2.3.2.2.3 创建Maxwell用户并赋予其必要权限
- 7.2.3.3 配置Maxwell
-
- 7.2.3.3.1 修改Maxwell配置文件名称
- 7.2.3.3.2 修改Maxwell配置文件
7. 业务数据采集模块
7.1 采集通道
7.1.1 业务数据通道
7.2 采集工具
7.2.1 Maxwell简介
7.2.1.1 Maxwell概述
Maxwell 是由美国Zendesk公司开源，用Java编写的MySQL变更数据抓取软件。它会实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。官网地址：http://maxwells-daemon.io/
7.2.1.2 Maxwell输出数据格式
注：Maxwell输出的json字段说明：
| 字段 | 解释 |
|---|---|
| database | 变更数据所属的数据库 |
| table | 表更数据所属的表 |
| type | 数据变更类型 |
| ts | 数据变更发生的时间 |
| xid | 事务id |
| commit | 事务提交标志，可用于重新组装事务 |
| data | 对于insert类型，表示插入的数据；对于update类型，标识修改之后的数据；对于delete类型，表示删除的数据 |
| old | 对于update类型，表示修改之前的数据，只包含变更字段 |
7.2.2 Maxwell原理
Maxwell的工作原理是实时读取MySQL数据库的二进制日志（Binlog），从中获取变更数据，再将变更数据以JSON格式发送至Kafka等流处理平台。
7.2.2.1 MySQL二进制日志
二进制日志（Binlog）是MySQL服务端非常重要的一种日志，它会保存MySQL数据库的所有数据变更记录。Binlog的主要作用包括主从复制和数据恢复。Maxwell的工作原理和主从复制密切相关。
7.2.2.2 MySQL主从复制
MySQL的主从复制，就是用来建立一个和主数据库完全一样的数据库环境，这个数据库称为从数据库。
7.2.2.2.1 主从复制的应用场景如下
（1）做数据库的热备：主数据库服务器故障后，可切换到从数据库继续工作。
（2）读写分离：主数据库只负责业务数据的写入操作，而多个从数据库只负责业务数据的查询工作，在读多写少场景下，可以提高数据库工作效率。
7.2.2.2.2 主从复制的工作原理如下
（1）Master主库将数据变更记录，写到二进制日志(binary log)中
（2）Slave从库向mysql master发送dump协议，将master主库的binary log events拷贝到它的中继日志(relay log)
（3）Slave从库读取并回放中继日志中的事件，将改变的数据同步到自己的数据库。
7.2.2.3 Maxwell原理
很简单，就是将自己伪装成slave，并遵循MySQL主从复制的协议，从master同步数据。重播的数据是JSON格式，不会将数据写入表中，而是将数据传给kafka。
7.2.3 Maxwell部署
7.2.3.1 安装Maxwell
7.2.3.1.1 下载安装包
（1）地址：https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz
注：Maxwell-1.30.0及以上版本不再支持JDK1.8。
（2）将安装包上传到hadoop102节点的/opt/software目录
注：此处使用的是尚硅谷教学版安装包，教学版对原版进行了改造，增加了自定义Maxwell输出数据中ts时间戳的参数，生产环境请使用原版。
7.2.3.1.2 将安装包解压至/opt/module
[summer@hadoop102 software]$ tar -zxvf maxwell-1.29.2.tar.gz -C /opt/module/
7.2.3.2 配置MySQL
7.2.3.2.1 启用MySQL Binlog
MySQL服务器的Binlog默认是未开启的，如需进行同步，需要先进行开启。
7.2.3.2.1.1 修改MySQL配置文件/etc/my.cnf
[summer@hadoop102 module]$ sudo vim /etc/my.cnf
7.2.3.2.1.2 增加如下配置
[mysqld]
#数据库id
server-id = 1
#启动binlog，该参数的值会作为binlog的文件名
log-bin=mysql-bin
#binlog类型，maxwell要求为row类型
binlog_format=row
#启用binlog的数据库，需根据实际情况作出修改
binlog-do-db=gmall
如果有两个数据库需要监控，则可以这样写配置
binlog-do-db=gmall
binlog-do-db=gmall1
如果有100个数据库，需要监控的有99个，则我们可以将那一个不用监控的数据库给忽略掉
binlog-ignore-db=gmall
7.2.3.2.1.3 MySQL Binlog模式
Statement-based：
基于语句，Binlog会记录所有写操作的SQL语句，包括insert、update、delete等。
优点： 节省空间
缺点： 有可能造成数据不一致，例如insert语句中包含now()函数。
Row-based：
基于行，Binlog会记录每次写操作后被操作行记录的变化。
优点：保持数据的绝对一致性。
缺点：占用较大空间。
mixed：
混合模式，默认是Statement-based，如果SQL语句可能导致数据不一致，就自动切换到Row-based。
Maxwell要求Binlog采用Row-based模式。
7.2.3.2.1.4 重启MySQL服务
[summer@hadoop102 module]$ sudo systemctl restart mysqld
7.2.3.2.2 创建Maxwell所需数据库和用户
Maxwell需要在MySQL中存储其运行过程中的所需的一些数据，包括binlog同步的断点位置（Maxwell支持断点续传）等等，故需要在MySQL为Maxwell创建数据库及用户。
7.2.3.2.2.1 创建数据库
msyql> CREATE DATABASE maxwell;
7.2.3.2.2.2 调整MySQL数据库密码级别
mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=4;
7.2.3.2.2.3 创建Maxwell用户并赋予其必要权限
mysql> CREATE USER '`maxwell`'@'%' IDENTIFIED BY '`maxwell`';
mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%';
mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';
maxwell要加``包裹住。
命令：
CREATE USER ‘username’@‘host’ IDENTIFIED BY ‘password’;
说明：
username：你将创建的用户名
host：指定该用户在哪个主机上可以登陆，如果是本地用户可用localhost，如果想让该用户可以从任意远程主机登陆，可以使用通配符%
password：该用户的登陆密码，密码可以为空，如果为空则该用户可以不需要密码登陆服务器
GRANT ALL PRIVILEGES ON *.* TO 'maxwell'@'%' IDENTIFIED BY '000000' WITH GRANT OPTION;
GRANT：赋权命令
ALL PRIVILEGES：当前用户的所有权限
ON：介词
*.*：当前用户对所有数据库和表的相应操作权限
TO：介词
‘maxwell’@’%’：权限赋给maxwell用户，所有ip都能连接
IDENTIFIED BY ‘000000’：连接时输入密码，密码为000000
WITH GRANT OPTION：允许级联赋权
7.2.3.3 配置Maxwell
7.2.3.3.1 修改Maxwell配置文件名称
[summer@hadoop102 module]$ cd /opt/module/maxwell-1.29.2/
[summer@hadoop102 maxwell-1.29.2]$ cp config.properties.example config.properties
7.2.3.3.2 修改Maxwell配置文件
[summer@hadoop102 maxwell-1.29.2]$ vim config.properties
#Maxwell数据发送目的地，可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis
producer=kafka
#目标Kafka集群地址
kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092
#目标Kafka topic，可静态配置，例如:maxwell，也可动态配置，例如：%{database}_%{table}
kafka_topic=maxwell
#MySQL相关配置
host=hadoop102
user=maxwell
password=maxwell
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai