用ElasticSearch监控MySQL

介绍

本文是一个使用ELK来监控mysql的介绍，基本监控了一些关键指标，当然根据业务的不同，可能有不同的指标需求，但使用该方法监控，原理不会变化，非常适合入门。

ELK是一个非常强大的软件组合，在github上有开源，star数大的惊人，感兴趣的朋友可以了解下，这套工具学习曲线比较陡峭，推荐使用本文提到的mysqlbeat这类简单的工具作为采集工具开始，一开始先不使用官方提供的beat，一方面是因为默认的配置什么数据都上报，浪费存储空间，另一方面复杂的嵌套表结构（document）更增加了学习难度，更具体的原因后面还会提及。而本文涉及到的表结构（document）只有一层，说不定你输入一个key:value，例如INNODB_PAGE_SIZE:16384，就把pagesize为16KB的记录全部列出来了。但这并不意味着你不会掉到坑里去，学好这套工具还是需要大量的学习和摸索，其实ELK的难点在于ES，建议可以读一下它的原版教程ElasticSearch权威指南。

监控工具

mysqlbeat

mysqlbeat是一个高度可定制的mysql监控agent，通过查询information_schema.global_status中部分字段，并上报到ElasticSearch进行存储，并通过Kibana进行可视化展示。代码量少，建议阅读，github地址。

数据上报

安装后主要对/etc/mysqlbeat/mysqlbeat.yml文件进行配置（不同平台上路径可能有差异），有以下设置项：

mysqlbeat：配置mysql账号，上报间隔，查询语句等 output：ElasticSearch集群的地址（也可以输出到logstash），可以同时设多个，例如：hosts: ["192.168.1.1:9200", "192.168.1.2:9200"] template：ElasticSearch mapping模板路径，默认为/etc/mysqlbeat/mysqlbeat.template.json，定义了文档字段（初学者可以理解为关系数据库的表结构），如果你偶尔要添加或修改字段，请设置overwrite: true字段，同时需要在Kibana界面reload一下该模板 配置中最重要的是queries字段，定义了一系列SQL语句，mysqlbeat通过执行这些语句，会生成一张表，这张表就是你要监控的数据，它只有两个字段VARIABLE_NAME和VARIABLE_VALUE，分别代表你要监控的监测名和监测值，其中value有两种类型

第一种是差值类型，因为global status中的一些数据是不断累加的，所以要得到1s内的数据，需要用当前时间取到的值减去前一个间隔取到的值，然后除以间隔的秒数，当然这些都不需要你来完成，你只需要在监测名后面加一个后缀__DELTA即可：CONCAT(VARIABLE_NAME, '__DELTA') 第二种是像内存值这样的不需要进行差值操作的类型。 总之使用很简单，看一下配置，然后马上就try吧

数据展示

使用这个工具导出的数据很容易配置可视化，我目前使用的是标配Kibana作为UI，下图是mysqlbeat可视化配置和官方beat可视化配置的一个对比

用ElasticSearch监控MySQL 对比

左图X轴是时间轴，Y轴是QPS的平均值，非常清晰明了。再看右图，我只展示了X轴，X轴是一个外部是时间轴，内部还嵌套了一个过滤器，这个效果却是对垂直空间做了划分，对于初学者来说非常不直观，可以想象当初我为了实现这个展示是花了很多时间去摸索的，即便如此，也不能否认ElasticSearch本身非常强大的事实。

监控指标

QPS和TPS

用ElasticSearch监控MySQL QPS and TPS

qps是每秒的查询数，即information_schema.global_status中的QUESTIONS字段 tps是每秒的事务数，是information_schema.global_status中COM_ROLLBACK和COM_COMMIT之和连接

用ElasticSearch监控MySQL 连接

使用数据库的时候会出现"mysql connection error"的错误，一般有两个原因

连接数到达配置的最大值 内存或线程不足（每个连接对应一个线程） 所以需要设置如下几个监控

THREADS_CONNECTED：当前连接数，对照MAX_CONNECTIONS，如超过总连接的80%，或陡然突增的情况，需要设置报警 ABORTED_CONNECTS：表示存在服务器拒绝client连接的情况，此时下面两个指标中的一种或两种会增长 CONNECTION_ERRORS_MAX_CONNECTIONS：连接失败是因为当前连接超过最大连接数 CONNECTION_ERRORS_INTERNAL：主要用于排查连接失败是因为内存或线程不足造成的参数 缓存

用ElasticSearch监控MySQL 缓存

缓存在互联网时代的重要性不可估量，主流的两个数据库引擎InnoDB和MyISAM的缓存作用有所区别，前者的缓存包括了索引和实际数据，而MyISAM仅缓存了索引，它把数据缓存交给了操作系统，在这里我们的监控原理一样，只是字段有差别:

监控缓存使用率 监控缓存命中情况 缓存使用情况需要两个参数，缓存使用大小和缓存总大小

MyISAM：KEY_BLOCKED_USED / (KEY_BLOCKED_UNUSED + KEY_BLOCKED_USED) InnoDB：INNODB_BUFFER_POOL_PAGES_DATA / (INNODB_BUFFER_POOL_PAGES_FREE + INNODB_BUFFER_POOL_PAGES_DATA) 同样，缓存命中情况也只需要缓存访问量和磁盘访问量两个参数，这一组字段不好记，记住读缓存次数的变量名比读磁盘次数的变量名多个requests后缀就好了。

MyISAM：读命中 KEY_READ_REQUESTS / (KEY_READS + KEY_READ_REQUESTS)；写命中 KEY_WRITE_REQUESTS / (KEY_WRITE_REQUESTS + KEY_WRITES) InnoDB：缓存命中 INNODB_BUFFER_POOL_READ_REQUESTS / (INNODB_BUFFER_POOL_READ_REQUESTS + INNODB_BUFFER_POOL_READS) 需要注意的是，缓存的读/写命中率应该以最近一段时间（比如10s）为基准（作者取的是累积值），这样数据更真实，而基数太大会把数据压得更平滑，不利于监测突发情况。

TODO

主从同步延迟，其实mysqlbeat已经实现了，只是老是出现类型冲突，所以就无法可视化，需要查代码定位 mysql错误，这种以表格的形式展示更好，对错误语句、原因根据错误次数倒序展示 最慢的mysql语句，同样是以表格形式展示 报警，使用ElastAlert的spike rule监控陡然增减的情况、frequency rule设置阈值，出现这些情况进行报警 latency，这种优先级比较低，一般上层接口的监控latency即可，因为一般情况下，mysql都是瓶颈。