Prometheus结合Consul采集多个MySQL实例的监控指标

本文主要介绍如何利用Prometheus官网提供的mysqld_exporter进行多MySQL实例的监控指标采集

建议安装最新版的mysqld_exporter， 因为从’2022-09-01’ 之后才支持多实例功能的。具体的官网说明详见
Support for scraping multiple mysqld hosts (#651)

ok，开始今天的教程~

1、下载安装 mysqld_exporter

# 参考 下载地址Release列表，选择适合的平台安装包

# 进入运维规范 软件安装目录
cd /opt/app

# 下载并解压
wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.15.1/mysqld_exporter-0.15.1.linux-amd64.tar.gz
tar -zxvf mysqld_exporter-0.15.1.linux-amd64.tar.gz

# 设置软连接
ln -s /opt/app/mysqld_exporter-0.15.1.linux-amd64 mysqld_exporter

2、进行配置

配置之前创建Prometheus exporter 账号并赋权

CREATE USER 'prometheus'@'192.168.%' IDENTIFIED BY 'XXXXXXXX' WITH MAX_USER_CONNECTIONS 10;
GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'prometheus'@'192.168.%';

配置连接MySQL的配置文件

# vim ./.my.cnf
[client]
user = prometheus
password = XXXXXXXX

其他的配置说明详见 https://github.com/prometheus/mysqld_exporter

为了方便管理，在每个MySQL实例初始化的时候，创建相同的账号 'prometheus'@'192.168.%' 和对应的密码， 这样在 mysql exporter中只用配置一个[client] 即可。

3、启动MySQL exporter并测试

注意可以通过 ./mysqld_exporter --help 查看以 --collect.xx 开头的参数，这个是该exporter支持的metrics

另外需要特殊说明几个参数

• –config.my-cnf=“.my.cnf”

  配置exporter连接数据库时使用的认证信息（这里只要是配置用户和密码），默认是读取当前目录下的.my.cnf，可以修改指定

• –web.listen-address=:9104

  exporter默认监听的端口，可以修改

启动 exporter 服务

nohup ./mysqld_exporter --config.my-cnf=./.my.cnf --collect.global_status --collect.global_variables --collect.mysql.user --collect.binlog_size --collect.slave_status &

当然还可以配置systemd 方式来管理该exporter服务

# vim /usr/lib/systemd/system/mysqld_exporter.service
[Unit]
Description=Prometheus MySQL exporter

[Service]
ExecStart=/opt/app/mysqld_exporter/mysqld_exporter --config.my-cnf=/opt/app/mysqld_exporter/.my.cnf --collect.global_status --collect.global_variables --collect.mysql.user --collect.binlog_size --collect.slave_status
Restart=on-failure

[Install]
WantedBy=multi-user.target

然后执行配置开机自启动

# 开启自启动
systemctl enable mysqld_exporter

# 启动
systemctl start mysqld_exporter

# 查看状态
systemctl status mysqld_exporter

4、测试验证

根据官网提示可以使用 /probe?target=foo:3306 的方式来验证

To use the multi-target functionality, send an http request to the endpoint /probe?target=foo:3306 where target is set to the DSN of the MySQL instance to scrape metrics from.

本次环境测试地址 http://192.168.3.100:9104/probe?target=xxxx:3306 然后在浏览器中打开如下，看到exporter部署成功

5、注册MySQL实例信息到Consul

备注： 关于Consul大家知道是目前比较常用的注册中心系统，常见的用法有

a）比如Java服务启动的时候注册到Consul，其他比如网关服务就可以自动发现服务进行请求转发

b）Nginx做服务动态转发时，可以借助于Consul中的KV功能实现在发布服务时，动态下线对应的服务节点，等服务节点重启成功之后再动态上线。可以实现后端服务的无损上线

具体Consul的服务安装和API用法详见官网文档即可，后者关于我博客中的相关文章说明

这里直接给出具体的注册代码

#!/usr/bin/env bash
# encoding: utf-8
# 批量初始化注册到Consul

while read line
do
    # echo $line
    instance_id=$(echo $line|awk '{print $1}')
    instance_name=$(echo $line|awk '{print $2}')
    instance_address=$(echo $line|awk '{print $3}')
    suffix=$(echo $instance_name|awk -F"_" '{print $NF}')
    if [[ $suffix == 'slave' ]]
    then
        role="slave"
    else
        role="master"
    fi

    data="{
        \"id\": \"rds-${instance_name}\",
        \"name\": \"mysql\",
        \"address\" : \"${instance_address}\",
        \"port\": 3306,
        \"tags\": [\"prod\", \"mysql_exporter\"],
        \"meta\": {
            \"env\": \"prod\",
            \"role\": \"${role}\",
            \"instance_id\": \"${instance_id}\",
            \"instance_name\": \"${instance_name}\"
        }
    }"
    # echo $data
    curl -X PUT 'http://192.168.x.x:8500/v1/agent/service/register' -H 'Content-Type: application/json' -d "$data"
done < /opt/scripts/db-register-into-consul/db-list.txt

其中 db-list.txt 文件的内容格式如下

instance-id-xxx instance-name instance-address

或者可以手动单个实例的注册

curl -X PUT 'http://192.168.x.x:8500/v1/agent/service/register' -H 'Content-Type: application/json' \
-d '{
  "id": "rds-xxx",
  "name": "mysql",
  "address": "rm-xxxxxxxx.mysql.rds.aliyuncs.com",
  "port": 3306,
  "tags": [
      "prod",
      "mysql_exporter"
  ],
  "meta": {
    "env": "prod",
    "instance_id": "rm-xxxxxxxx.mysql.rds.aliyuncs.com:3306",
    "role": "master",
    "instance_name": "rds-xxx"
  }
}'

然后打开 Consul的 Web 控制台，在 Services 中搜索 mysql(这里定义的服务名称) 就可以看到有对应的实例注册到该服务下

6、配置Prometheus 自动发现多个MySQL实例

为了规范配置Prometheus的配置，建议按照如下把不同的Job配置到 scrape_configs 目录下单个文件存放管理

# cat scrape_configs/mysql_exporter.yml
scrape_configs:
  - job_name: 'consul_discovery_mysql'
    consul_sd_configs:
      # Consul的服务地址(这里配置的内网域名)
      - server: 'consul.xxx.local'
        # 这里是获取Consul中的服务，如上知道我们是把所有的MySQL实例注册到了`mysql`服务下
        services: ['mysql']
    relabel_configs:
      # 核心是获取 `__parm_target` 就是 上面第四步提到的probe抓取的target
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__meta_consul_service_id]
        target_label: instarnce_name
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        # 注意这里: 该地址就是MySQL exporter服务的地址
        replacement: 192.168.3.100:9104

划重点

虽然在 mysql_exporter 的 config.file 对应的配置文件中可以配置多个 client 然后给配置不同的账号密码，且 prometheus也支持auth_module参数。

但是如果Prometheus配置auth_module参数时且每个job的账号密码不一样。那么就变成了手动配置多个Job的场景，那么基于Consul自动发现的多实例配置就失去了其意义。

所这里这里没有配置，且针对Prometheus监控猜忌，建议配置统一的账号密码就行

划重点

如果在进行relabel 配置的时候，不知道都有哪些原始的labels，可以后两种方案

1、就是Prometheus中先不进行relabel_configs的配置，然后配置生效之后打开 Prometheus Web控制台在 Status中找到 Targets ，然后鼠标放到对应job下endpoint 行 的Labels 列，就会有弹窗显示 Before relabeling 都有哪些

2、查看Prometheus官网介绍 Prometheus consul_sd_config relabel参数

但是个人建议第一种方式，因为笔者刚开始参考第二种方式在meta中存放了定制的参数，但是获取不到。最终分析定位发现是因为笔者的Consul版本太低，很多consul_sd_config参数不支持导致。

但是第一种方式，显示出来的参数就是当前版本支持的可用的参数。

当然具体使用自己更具自己的实际情况来判断就行。

7、验证Prometheus多实例采集

这里给实际的结果截图

看到笔者这里已经采集到了36个实例数据，点击Endpoint就看到需要的结果，和上面第四步测试验证一致。

8、配置Grafana

配置Grafana 就相对很简单了。这里就不展开详细说明了。

大概的步骤就是

1）在grafana中添加该Prometheus数据源

2）然后新创建dashboard 在官网搜到需要的模板之后，按照模板id导致即可

---

如有疑问欢迎关注微信公众号或者QQ交流分享