技术分享| 如何使用Prometheus实现系统进程监控

如何监控线上正在运营的系统?如何得知系统目前是正常还是异常? Prometheus是这么一套数据监控解决方案。它能让运维及开发人员随时掌控系统的运行状态,快速定位出现问题的位置,快速排除故障。只要按照 Prometheus的方式来做,按部就班地学习和部署,我们就可以监控机器的 CPU、内存等资源的使用情况、应用程序的运行情况以及业务各项指标的实时数据。并且其与Grafana 配套使用可以呈现出非常多样化的图表配置。对于中小规模的团队来说,可以极大地减少成本,加快研发速度。

一、概述

初识Prometheus

Prometheus 是由 SoundCloud 开发的开源监控报警系统和时序列数据库。从字面上理解,Prometheus 由两个部分组成,一个是监控报警系统,另一个是自带的时序数据库(TSDB)。

2016 年,由 Google 发起的 Linux 基金会旗下的云原生计算基金会(CNCF)将 Prometheus 纳入作为其第二大开源项目。Prometheus 在开源社区也十分活跃,在 GitHub 上拥有4万多 Star,差不多8K的Fork,并且系统每隔一两周就会有一个小版本的更新。

Prometheus架构

技术分享| 如何使用Prometheus实现系统进程监控_第1张图片

从上图可以看到,整个 Prometheus 可以分为四大部分,分别是:

Prometheus 服务器

Prometheus Server 是 Prometheus组件中的核心部分,负责实现对监控数据的获取,存储以及查询。

Process-exporter业务数据源

业务数据源通过 Pull/Push 两种方式推送数据到 Prometheus Server。

AlertManager 报警管理器

Prometheus 通过配置报警规则,如果符合报警规则,那么就将报警推送到 AlertManager,由其进行报警处理。

可视化监控界面

Prometheus 收集到数据之后,由 WebUI 界面进行可视化图标展示。目前我们可以通过自定义的 API 客户端进行调用数据展示,也可以直接使用 Grafana 解决方案来展示。
Prometheus 的实现架构并不复杂。其实就是收集数据、处理数据、可视化展示,再进行数据分析进行报警处理。但其珍贵之处在于提供了一整套可行的解决方案,并且形成了一整个生态,能够极大地降低我们的研发成本。

进程监控服务组件的搭建

下面我们介绍一下使用Prometheus实现进程监控我们需要搭建的组件:Prometheus + Process-exporter + Grafana。由于目前是在内网验证阶段, 所以三个组件均安装在同一台服务器上面(系统:centos7.8)。

安装Prometheus

首先先去官网下载对应系统的版本。
下载后上传到部署的服务器,解压:

tar  -vxf  prometheus-2.40.5.linux-amd64.tar.gz

编辑系统服务启动文件

vi/usr/lib/systemd/system/prometheus.service 
[Unit]
Description=prometheus
After=network.target

[Service]
Type=simple
ExecStart=/home/prometheus/prometheus/prometheus --config.file=/home/prometheus/prometheus/prometheus.yml --storage.tsdb.path=/home/prometheus/prometheus/data --storage.tsdb.retention=30d --log.level=info --web.external-url=http://192.168.1.108:9090
Restart=on-failure

[Install]
WantedBy=multi-user.target

保存后,使用systemctl 启动/关闭 Prometheus服务

systemctl daemon-reload
systemctl enable prometheus
systemctl start prometheus

启动后, Prometheus的web界面如下图所示

技术分享| 如何使用Prometheus实现系统进程监控_第2张图片

1.安装process-exporter

下载process-exporter

wget https://github.com/ncabatoff/process-exporter/releases/download/v0.7.10/process-exporter-0.7.10.linux-amd64.tar.gz

安装部署process-exporter

tar -xvf process-exporter-0.7.10.linux-amd64.tar.gz
mv process-exporter-0.7.10.linux-amd64 process-exporter

编写配置文件

cd process-exporter
vi config.yaml
process_names:
  - name: "{{.Matches}}"
    cmdline:
    - 'qtalk_api'
  - name: "{{.Matches}}"
    cmdline:
    - 'qtalk_user'
  - name: "{{.Matches}}"
    cmdline:
    - 'qtalk_auth'

编写启动脚本

vi /usr/lib/system/system/process-exporter.service
[Unit]
Description=process_exporter
After=network.target

[Service]
User=root
Type=simple
ExecStart=/home/prometheus/process-exporter/process-exporter -config.path /home/prometheus/process-exporter/config.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

启动

systemctl daemon-reload
systemctl enable process-exporter
systemctl start process-exporter

验证

curl 192.168.1.108:9256/metrics

注意:metrics中包含:namedprocess_namegroup_num_procs{groupname=“map[:qtalk_api]”}即代表启动正确,否则查询config.yaml配置是否正确。

配置Prometheus
在原prometheus.yml的末端添加下面配置

- job_name: 'process'
static_configs:
-targets: ['192.168.1.108:9256']

热加载Prometheus

./promtool check config  prometheus.yml
systemctl reload prometheus.service

2.安装Grafana

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.3.1-1.x86_64.rpm
sudo yum install grafana-enterprise-9.3.1-1.x86_64.rpm
systemctl start grafana-server.service

启动Grafana之后,使用grafana的Web界面登录之后,添加Prometheus的数据源,然后导入Grafana的进程监控模版(https://grafana.com/grafana/dashboards/8378-system-processes-metrics/),即可查看process-exporter 配置的系统进程的运行情况,如下图所示:

技术分享| 如何使用Prometheus实现系统进程监控_第3张图片

通过Prometheus、Process-exporter、Grafana的相互配合,这样服务器上面运行的每一个进程的状态都可以进行图形化展示,再配合上Prometheus的报警通知功能,便于系统运维及开发人员及时了解系统运行状况,及时做出资源调整,保障系统的高可用。

下一篇文章将介绍如何使用报警组件进行报警规则匹配及邮件、钉钉、企业微信的通知。

参考文档

prometheus
process-exporter
Prometheus — Process-exporter进程监控

技术分享| 如何使用Prometheus实现系统进程监控_第4张图片

你可能感兴趣的:(运维开发,Prometheus,服务器,prometheus,系统进程监控,数据监控,运维开发,服务器)