Prometheus 监控 k8s集群（配置监控自己）

本文介绍Prometheus 监控及在k8s集群中使用node-exporter、prometheus、grafana对集群进行监控。实现原理类似ELK、EFK组合。node-exporter组件负责收集节点上的metrics监控数据，并将数据推送给prometheus, prometheus负责存储这些数据，grafana将这些数据通过网页以图形的形式展现给用户。
Prometheus 监控 k8s集群（介绍）
Prometheus 监控 k8s集群（配置监控自己）
Prometheus 监控 k8s集群（集群部署）

一、安装Prometheus Server

Prometheus基于Golang编写，编译后的软件包，不依赖于任何的第三方依赖。用户只需要下载对应平台的二进制包，解压并且添加基本的配置即可正常启动Prometheus Server。

1. 从二进制包安装

对于非Docker用户，可以从https://prometheus.io/download/找到最新版本的Prometheus Sevrer软件包：

export VERSION=2.10.0
# curl -LO  https://github.com/prometheus/prometheus/releases/download/v2.10.0/prometheus-2.10.0.linux-amd64.tar.gz

解压，并将Prometheus相关的命令，添加到系统环境变量路径即可
# tar -xzf prometheus-${VERSION}.linux-amd64.tar.gz
# cd prometheus-${VERSION}.linux-amd64

解压后当前目录会包含默认的Prometheus配置文件promethes.yml
# cat promethes.yml
# my global config
global:
  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets:
      # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=` to any timeseries scraped from this config.
  - job_name: 'prometheus'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
    - targets: ['localhost:9090']


配置文件讲解（不修改）
scrape_interval：
    抓取采样数据的 时间间隔， 默认 每15秒去被监控机上 采样一次，这个就是 prometheus的自定义数据采集频率了

evaluation_interval：
    监控数据规则的评估频率
    这个参数是prometheus多长时间 会进行一次 监控规则的评估
    例: 假如 我们设置 当 内存使用量 > 70%时 发出报警 这么一条rule(规则) 那么prometheus 会默认 每15秒来执行一次这个规则 检查内存的情况

Alertmanager：
    是prometheus的一个用于管理和发出报警的 插件
    这里对 Alertmanger 暂时先不做介绍 暂时也不需要 (采用 4.0最新版的 Grafana , 本
身就已经支持报警发出功能了 往后我们会学习到)

再往后 从这里开始 进入prometheus重要的 配置采集节点的设置
scrape_configs: 
 - job_name: 'prometheus'
   static_configs:
   - targets: ['localhost:9090','localhost:9100']

先定义一个 job的名称，然后 定义监控节点 targets，默认带了一个 prometheus本机的

这里可以继续扩展加入其他需要被监控的节点,如下是一个生产配置例子:
- job_name: 'aliyun'
  static_configs:
  - targets: ['server04:9100','IP:9100','nginx06:9100','web7:9100','redis1:9100','log:9100','redis2:9100']

targets：
    可以并列写入 多个节点 用逗号隔开， 机器名+端口号
端口号:
    通常用的就是 exporters 的端口 在这里 9100 其实是 node_exporter 的默认端口

如此 prometheus 就可以通过配置文件 识别监控的节点，持续开始采集数据 

prometheus到此就算初步的搭建好了

Promtheus作为一个时间序列数据库，其采集的数据会以文件的形似存储在本地中，默认的存储路径为data/，因此我们需要先手动创建该目录
# mkdir data

用户也可以通过参数--storage.tsdb.path="data/" 修改本地数据存储的路径。

启动prometheus服务，其会默认加载当前路径下的prometheus.yaml文件
# ./prometheus

正常的情况下，你可以看到以下输出内容
level=info ts=2020-05-19T14:55:14.499484Z caller=main.go:554 msg="Starting TSDB ..."
level=info ts=2020-05-19T14:55:14.499531Z caller=web.go:397 component=web msg="Start listening for connections" address=0.0.0.0:9090
level=info ts=2020-05-19T14:55:14.507999Z caller=main.go:564 msg="TSDB started"
level=info ts=2020-05-19T14:55:14.508068Z caller=main.go:624 msg="Loading configuration file" filename=prometheus.yml
level=info ts=2020-05-19T14:55:14.509509Z caller=main.go:650 msg="Completed loading of configuration file" filename=prometheus.yml
level=info ts=2020-05-19T14:55:14.509537Z caller=main.go:523 msg="Server is ready to receive web requests."

2. 使用容器安装

对于Docker用户，直接使用Prometheus的镜像即可启动Prometheus Server

# docker pull prom/prometheus
# docker run -p 9090:9090 -v /etc/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus

启动完成后，可以通过浏览器访问 IP:9090 访问 Prometheus 的UI界面

image.png

二、安装Node Exporter

在Prometheus的架构设计中，Prometheus Server并不直接服务监控特定的目标，其主要任务负责数据的收集，存储并且对外提供数据查询支持。因此为了能够能够监控到某些东西，如主机的CPU使用率，我们需要使用到Exporter。Prometheus周期性的从Exporter暴露的HTTP服务地址（通常是/metrics）拉取监控样本数据。

从上面的描述中可以看出Exporter可以是一个相对开放的概念，其可以是一个独立运行的程序独立于监控目标以外，也可以是直接内置在监控目标中。只要能够向Prometheus提供标准格式的监控样本数据即可。

这里为了能够采集到主机的运行指标如CPU, 内存，磁盘等信息。我们可以使用Node Exporter。

Node Exporter同样采用Golang编写，并且不存在任何的第三方依赖，只需要下载，解压即可运行。可以从https://prometheus.io/download/获取最新的node exporter版本的二进制包。

下载解压
# curl -OL https://github.com/prometheus/node_exporter/releases/download/v0.18.1/node_exporter-0.18.1.linux-amd64.tar.gz
# tar -xzf node_exporter-0.18.1.darwin-amd64.tar.gz

运行node exporter
# cd node_exporter-0.18.1.linux-amd64
# cp node_exporter /usr/local/bin/
# node_exporter

启动成功后，可以看到以下输出
INFO[0000] Listening on :9100                            source="node_exporter.go:76"

1. 初始Node Exporter监控指标

浏览器访问 IP:9100 可以看到以下页面

image.png

点击Metrics，可以看到当前node exporter获取到的当前主机的所有监控数据，如下所示：

image.png

每一个监控指标之前都会有一段类似于如下形式的信息：

# HELP node_cpu Seconds the cpus spent in each mode.
# TYPE node_cpu counter
node_cpu{cpu="cpu0",mode="idle"} 362812.7890625
# HELP node_load1 1m load average.
# TYPE node_load1 gauge
node_load1 3.0703125

其中HELP用于解释当前指标的含义，TYPE则说明当前指标的数据类型。在上面的例子中node_cpu的注释表明当前指标是cpu0上idle进程占用CPU的总时间，CPU占用时间是一个只增不减的度量指标，从类型中也可以看出node_cpu的数据类型是计数器(counter)，与该指标的实际含义一致。又例如node_load1该指标反映了当前主机在最近一分钟以内的负载情况，系统的负载情况会随系统资源的使用而变化，因此node_load1反映的是当前状态，数据可能增加也可能减少，从注释中可以看出当前指标类型为仪表盘(gauge)，与指标反映的实际含义一致。

除了这些以外，在当前页面中根据物理主机系统的不同，你还可能看到如下监控指标：

• node_boot_time：系统启动时间
• node_cpu：系统CPU使用量
• nodedisk*：磁盘IO
• nodefilesystem*：文件系统用量
• node_load1：系统负载
• nodememeory*：内存使用量
• nodenetwork*：网络带宽
• node_time：当前系统时间
• go_*：node exporter中go相关指标
• process_*：node exporter自身进程相关运行指标

2. 从Node Exporter收集监控数据

为了能够让Prometheus Server能够从当前node exporter获取到监控数据，这里需要修改Prometheus配置文件。编辑prometheus.yml并在scrape_configs节点下添加以下内容:

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']
  #采集node exporter监控数据
  - job_name: 'node'
    static_configs:
      - targets: ['localhost:9100']

重新启动Prometheus Server

访问 IP+9100，进入到Prometheus Server。如果输入“up”并且点击执行按钮以后，可以看到如下结果

image.png

其中“1”表示正常，反之“0”则为异常。

3. 使用PromQL查询监控数据

Prometheus UI是Prometheus内置的一个可视化管理界面，通过Prometheus UI用户能够轻松的了解Prometheus当前的配置，监控任务运行状态等。 通过Graph面板，用户还能直接使用PromQL实时查询监控数据：

image.png

3.1 增加 cpu 负载

# cat /dev/urandom | md5sum

切换到Graph面板，用户可以使用PromQL表达式查询特定监控指标的监控数据。如下所示，查询主机负载变化情况，可以使用关键字node_load1可以查询出Prometheus采集到的主机负载的样本数据，这些样本数据按照时间先后顺序展示，形成了主机负载随时间变化的趋势图表：

image.png

3.2 主机负载情况

PromQL是Prometheus自定义的一套强大的数据查询语言，除了使用监控指标作为查询关键字以为，还内置了大量的函数，帮助用户进一步对时序数据进行处理。例如使用rate()函数，可以计算在单位时间内样本数据的变化情况即增长率，因此通过该函数我们可以近似的通过CPU使用时间计算CPU的利用率：

rate(node_cpu_seconds_total[2m])

image.png

3.3 系统进程的CPU使用率

这时如果要忽略是哪一个CPU的，只需要使用without表达式，将标签CPU去除后聚合数据即可：

avg without(cpu) (rate(node_cpu_seconds_total[2m]))

image.png

3.4 系统各mode的CPU使用率

那如果需要计算系统CPU的总体使用率，通过排除系统闲置的CPU使用率即可获得:

avg without(cpu) (rate(node_cpu_seconds_total{mode="idle"}[2m]))

image.png

通过PromQL我们可以非常方便的对数据进行查询，过滤，以及聚合，计算等操作。通过这些丰富的表达书语句，监控指标不再是一个单独存在的个体，而是一个个能够表达出正式业务含义的语言。

三、监控数据可视化

Prometheus UI提供了快速验证PromQL以及临时可视化支持的能力，而在大多数场景下引入监控系统通常还需要构建可以长期使用的监控数据可视化面板（Dashboard）。这时用户可以考虑使用第三方的可视化工具如Grafana，Grafana是一个开源的可视化平台，并且提供了对Prometheus的完整支持。

# docker run -d -p 3000:3000 grafana/grafana

访问 IP:3000 就可以进入到Grafana的界面中，默认情况下使用账户admin/admin进行登录。在Grafana首页中显示默认的使用向导，包括：安装、添加数据源、创建Dashboard、邀请成员、以及安装应用和插件等主要流程：

image.png

image.png

1. Grafana向导

这里将添加Prometheus作为默认的数据源，如下图所示，指定数据源类型为Prometheus并且设置Prometheus的访问地址即可，在配置正确的情况下点击“Add”按钮，会提示连接成功的信息：

image.png

2. 添加Prometheus作为数据源

在完成数据源的添加之后就可以在Grafana中创建我们可视化Dashboard了。Grafana提供了对PromQL的完整支持，如下所示，通过Grafana添加Dashboard并且为该Dashboard添加一个类型为“Graph”的面板。 并在该面板的“Metrics”选项下通过PromQL查询需要可视化的数据：

image.png

3. 第一个可视化面板

点击界面中的保存选项，就创建了我们的第一个可视化Dashboard了。 当然作为开源软件，Grafana社区鼓励用户分享Dashboard通过https://grafana.com/dashboards网站，可以找到大量可直接使用的Dashboard：

image.png

4. 用户共享的Dashboard

Grafana中所有的Dashboard通过JSON进行共享，可以下载并且导入这些JSON文件，就可以直接使用这些已经定义好的Dashboard： 也可以在界面输入Dashboard ID：8919

image.png

image.png

image.png

大功告成可以看到界面了

image.png

四、任务和实例

在前面通过在prometheus.yml配置文件中，添加如下配置。我们让Prometheus可以从node exporter暴露的服务中获取监控指标数据。

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']
  - job_name: 'node'
    static_configs:
      - targets: ['localhost:9100']

当我们需要采集不同的监控指标(例如：主机、MySQL、Nginx)时，我们只需要运行相应的监控采集程序，并且让Prometheus Server知道这些Exporter实例的访问地址。在Prometheus中，每一个暴露监控样本数据的HTTP服务称为一个实例。例如在当前主机上运行的node exporter可以被称为一个实例(Instance)。

而一组用于相同采集目的的实例，或者同一个采集进程的多个副本则通过一个一个任务(Job)进行管理。

* job: node
    * instance 2: 1.2.3.4:9100
    * instance 4: 5.6.7.8:9100

当前在每一个Job中主要使用了静态配置(static_configs)的方式定义监控目标。除了静态配置每一个Job的采集Instance地址以外，Prometheus还支持与DNS、Consul、E2C、Kubernetes等进行集成实现自动发现Instance实例，并从这些Instance上获取监控数据。

除了通过使用“up”表达式查询当前所有Instance的状态以外，还可以通过Prometheus UI中的Targets页面查看当前所有的监控采集任务，以及各个任务下所有实例的状态：

image.png

target列表以及状态

我们也可以访问IP:9090/targets直接从Prometheus的UI中查看当前所有的任务以及每个任务对应的实例信息。

image.png