Maxwell+Kafka+ELK 实现数据库日志分析（一）

产品正式上线有一段时间了，用户量越来越多，对产品进行深入的商业分析这件事逐渐被提上了日程。此时，就需要搭建一套系统能够实现对数据的采集，处理和展示。

系统架构

做了一些调研，最后决定用ElasticStack架构，也就是 Kafka+ELK 的架构。架构实现参照文章  【 ES 私房菜 】系统运维数据分析平台架构

系统主要架构如图所示：

具体实现为：

1. Maxwell 链接数据库，读取Mysql数据库中的BinLog文件，并将内容转化为json格式发送给 Kafka。

2. Kafka接收消息并实现转发

3. Logstash 从Kafka 读取转发的消息，并经过一定的数据处理后存入Elastcisearch

4. Elasticsearch按照一定的数据结构存储数据

5. Kibana展示Elastcisearch存储的数据

组件搭建

Maxwell

Maxwell 能够读取MySQL 数据库的 binlogs，并将binlog中的更新以JSON的格式转发给Kafka，Kinesis，RabbitMQ, Google Cloud Pub/Sub 或者Redis 等第三方数据存储或转发工具。

数据库配置

在数据库连接Maxwell之前，需要先对数据库做一些配置。

1. 配置MySQL的binlogs 格式为row

$ vi my.cnf

[mysqld]

server-id=1

log-bin=master

binlog_format=row

2. MySQL数据库新建一个用户 maxwell，并为其配置相关权限

mysql> GRANT ALL on maxwell.* to 'maxwell'@'%' identified by 'XXXXXX';

mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'maxwell'@'%'; 

Maxwell docker搭建

1. 调试maxwell和MySQL的连接，可将producer定义为输出

docker run -ti --rm zendesk/maxwell bin/maxwell --user='maxwell' --password='XXXXXX' --host='mysql_host' --producer=stdout

若连接正常，则一旦MySQL中的binlog文件有更新，maxwell会接收文件更新，并打印输出。

2. Maxwell连接kafka，将mysql消息发送到kafka

搭建好kafka后（后文会介绍如何docker搭建kafka），maxwell可以将producer设置为kafka，此时maxwell能够将MySQL中的数据更新发送给kafka。

docker run -ti --rm zendesk/maxwell bin/maxwell --user='maxwell' --password='XXXXXX' --host='mysql_host' --producer=kafka --kafka.bootstrap.servers=kafka_host:9092 --log_level=debug

配置 log_level 的环境变量值为debug可以查看maxwell运行时更加详细的log输出。不配置次环境变量时默认为 info。

若一切正常，kafka 的 maxwell 的topic的consumer能够收到MySQL的binlog数据更新，格式为json。

以上为maxwell 的docker搭建和配置。后文会继续介绍 kafka， elk等的docker搭建。