Pormetheus - Pushgateway创建方法（实例：每10秒统计TCP_WAIT状态连接数）

介绍

pushgateway 是一种采用被动推送的方式（而不是 exporter主动获取）获取监控数据的 prometheus 插件

一、Pushgateway 安装

官网地址：https://prometheus.io/download/#pushgateway

github地址：https://github.com/prometheus/pushgateway

daemonize 后台运行

daemonize -c /root/pushgateway-1.2.0.linux-amd64 /root/pushgateway-1.2.0.linux-amd64/pushgateway

配置文件： /usr/local/prometheus/prometheus.yml

放行数据端口：

firewall-cmd --add-port=9090/tcp
firewall-cmd --add-port=9100/tcp
firewall-cmd --add-port=9091/tcp
firewall-cmd --add-port=9092/tcp

访问 Pushgateway： 正常 Metrics 里面是没有数据的，下图是两个节点提交过 数据之后的显示结果

http://192.168.168.11:9091/

二、prometheus 命令行格式

1、命令行使用

选用一个 新的Key 来做讲解

count_netstat_wait_connections (TCP 等待连接数）

自行编写的脚本 + pushgateway的方法，推送到 prometheus server 采集。是一个 guage 类型的数据。

gauge 类型的数据只输入 key 键名，就会直接形成人性化监控图。

gauge 类型的数据，相对于counter类型的数据，使用起来相对容器的多。需要很多函数来进行修饰，如：rate()、increase() 进行计算之后，才能获取人性化监控图。

2、命令行过滤

如图所示，{ } 当中的部分属于： "标签"

• 标签主要用于采集数据，可以自定义标签的键值对，也可以使用默认的 exporter 提供的标签项。
• 上图标签中最重要的 exported_instance="log" 指定被监控主机名为 “log”。
• 在命令行上如果想要在基础之上进行过滤，就可以使用{ } 做第一步的过滤。
  count_netstat_wait_connections{exported_instance="log"}

标签精确过滤 =

例：匹配 log 主机名 exported_instance='log'

标签模糊过滤 =~

例：匹配 web. 开头的主机名 exported_instance=~"web."

3、数值过滤

想要找出 wait_connection 数量 大于400

count_netstat_wait_connections{exported_instance=~"web.*"} > 400

三、自定义编写脚本的方法，pushgateway 采集数据

pushgateway 本身是没有任何抓取监控数据的功能的，它只是被动的等待推送。

实例：抓取 TCP waiting_connection 等待连接数量

vim /usr/local/pushgateway/shell/waiting_connection.sh

#!/bin/bash
instance_name=`hostname -f` # instance_name 取出主机名

if [ $instance_name == "localhost" ];   #要求主机名不能是 localhost，没法区分
then
echo "Mush FQDN hostname"
exit 1
fi

#For waitting connections

label="count_netstat_wait_connections"  # 定义 prometheus 命令行标签

count_netstat_wait_connections=`netstat -anpt | grep -i wait | wc -l`   #定义一个新的数值，统计 TCP_WAIT 的连接数

echo "$label:$count_netstat_wait_connections" # 输出格式：key/value(标签:取出的数值)


echo "$label  $count_netstat_wait_connections" | curl --data-binary @-  http://192.168.168.11:9091/metrics/job/pushgateway/instance/$instance_name

#最后把 key/value 推送给 pushgateway
#curl --data-binary : 将 HTTP POST请求中的数据发送给 pushgateway 服务器，与用户提交HTML表单时浏览的行为完全一样。
#HTTP POST 请求中的数据为纯 二进制数据。

以上脚本中最重要的是：

1、count_netstat_wait_connections=`netstat -anpt | grep -i wait | wc -l`

提取通过 linux 命令行获取到的 监控 TCP_WAIT 的数据

2、curl --data-binary @- http://192.168.168.11:9091/metrics/job/pushgateway/instance/$instance_name

• 用 POST 方式 把 key/value 推送给 pushgateway的URL地址
• curl --data-binary：将 HTTP POST请求中的数据发送给 pushgateway 服务器
• http://192.168.168.11:9091/metrics/job/pushgateway：pushgateway URL的主 location
• job/pushgateway：第二部分第一个标签，推送到哪一个 prometheus.yml 定义的job里
• instance/$instance_name：第二个标签，推送后显示的 机器名是什么

四、结合crontab 反复执行

重点：重启 prometheus 服务，能够在 prometheus:9090/targets 当中看到 pushgateway

测试提交数据，查看是否成功

[root@node1 ~]# sh waiting_connection.sh
count_netstat_wait_connections:2 只显示结果，不出现报错为 真

结合 Crontab -e ，每分钟执行一次检测，并将结果提交到 pushgateway。

crontab -e

* * * * * sh /usr/local/pushgateway/waiting_connection.sh #每分钟执行一次

#如果想要按照秒钟来执行，按照以下来写

* * * * * sh /usr/local/pushgateway/waiting_connection.sh
* * * * * sleep 10；sh /usr/local/pushgateway/waiting_connection.sh
* * * * * sleep 20；sh /usr/local/pushgateway/waiting_connection.sh
* * * * * sleep 30；sh /usr/local/pushgateway/waiting_connection.sh
* * * * * sleep 40；sh /usr/local/pushgateway/waiting_connection.sh
* * * * * sleep 50；sh /usr/local/pushgateway/waiting_connection.sh