Prometheus基本介绍

Prometheus（简称Prom）前身是SoundCloud的告警工具包，现已演化成一个独立的开源监控系统。属于Kurberntes所在的Cloud Native Computing Foundation。

主要特性

多维度数据模型
- 时间序列数据通过 metric 名和键值对来区分。
- 所有的 metrics 都可以设置任意的多维标签。
- 数据模型更随意，不需要刻意设置为以点分隔的字符串。
- 可以对数据模型进行聚合，切割和切片操作。
- 支持双精度浮点类型，标签可以设为全 unicode。
灵活的查询语言：在同一个查询语句，可以对多个 metrics 进行乘法、加法、连接、取分数位等操作。
不依赖任何分布式存储
通过拉取方式采集数据，或者通过中间网关推送方式采集数据
通过服务发现或者静态配置来发现监控目标
支持多种图形界面展示方式

架构

下图描述了 Prometheus 的整体架构和其生态内。一些常用组件：

Prometheus Server：用于收集和存储时间序列数据。
Client Library：客户端库，为需要监控的服务生成相应的 metrics 并暴露给 Prometheus server。当 Prometheus server 来 pull 时，直接返回实时状态的 metrics。
Push Gateway：主要用于短期的 jobs。由于这类 jobs 存在时间较短，可能在 Prometheus 来 pull 之前就消失了。为此，这次 jobs 可以直接向 Prometheus server 端推送它们的 metrics。这种方式主要用于服务层面的 metrics，对于机器层面的 metrices，需要使用 node exporter。
Exporters：用于暴露已有的第三方服务的 metrics 给 Prometheus。
Alertmanager：从 Prometheus server 端接收到 alerts 后，会进行去除重复数据，分组，并路由到对收的接受方式，发出报警。常见的接收方式有：电子邮件，pagerduty，OpsGenie, webhook 等。

Prometheus 架构图

Prometheus以其Server为核心，用于收集和存储时间序列数据。Prometheus Server 从监控目标中拉取数据，或通过中间网关间接的把监控目标的监控数据存储到本地HDD/SSD中。
用户接口界面通过各种UI使用PromQL查询语言从Server获取数据。
一旦Server检测到异常，会推送告警到AlertManager，由告警管理负责去通知相关方。

Prometheus 核心概念

数据模型

Prometheus 从根本上存储的所有数据都是时间序列数据（Time Serie Data，简称时序数据）。时序数据是具有时间戳的数据流，该数据流属于某个度量指标（Metric）和该度量指标下的多个标签（Label）。除了提供存储功能，Prometheus 还可以利用查询表达式来执行非常灵活和复杂的查询。

度量指标和标签

每个时间序列（Time Serie，简称时序）由度量指标和一组标签键值对唯一确定。

度量指标名称描述了被监控系统的某个测量特征（比如 http_requests_total 表示 http 请求总数）。度量指标名称由 ASCII 字母、数字、下划线和冒号组成，须匹配正则表达式 [a-zA-Z_:][a-zA-Z0-9_:]*。

标签开启了 Prometheus 的多维数据模型。对于同一个度量指标，不同标签值组合会形成特定维度的时序。Prometheus 的查询语言可以通过度量指标和标签对时序数据进行过滤和聚合。改变任何度量指标上的任何标签值，都会形成新的时序。标签名称可以包含 ASCII 字母、数字和下划线，须匹配正则表达式[a-zA-Z_][a-zA-Z0-9_]*，带有 _下划线的标签名称保留为内部使用。标签值可以包含任意 Unicode 字符，包括中文。

采样值（Sample）

时序数据其实就是一系列采样值。每个采样值包括2部分：

一个 64 位的浮点数值
一个精确到毫秒的时间戳

注解（Notation）

一个注解由一个度量指标和一组标签键值对构成。形式如下：

[metric name]{[label name]=[label value], ...}

例如，度量指标为 api_http_requests_total，标签为 method="POST"、handler="/messages" 的注解表示如下：

api_http_requests_total{method="POST", handler="/messages"}

度量指标类型

Prometheus 里的度量指标有以下几种类型。

1. 计数器（Counter）

计数器是一种累计型的度量指标，它是一个只能递增的数值。计数器主要用于统计类似于服务请求数、任务完成数和错误出现次数这样的数据。

2. 计量器（Gauge）

计量器表示一个既可增又可减的度量指标值。计量器主要用于测量类似于温度、内存使用量这样的瞬时数据。

3. 直方图（Histogram）

直方图对观察结果（通常是请求持续时间或者响应大小这样的数据）进行采样，并在可配置的桶中对其进行统计。有以下几种方式来产生直方图（假设度量指标为）：

按桶计数，相当于 _bucket{le=""}
采样值总和，相当于_sum
采样值总数，相当于 _count ，也等同于把所有采样值放到一个桶里来计数 _bucket{le="+Inf"}

Histogram可以理解为柱状图，典型的应用如：请求持续时间，响应大小。可以对观察结果采样，分组及统计。
例如，查询 http_request_duration_microseconds_sum{job="Prometheus", handler="query"} 时，返回结果如下：

4. 汇总（Summary）

类似于直方图，汇总也对观察结果进行采样。除了可以统计采样值总和和总数，它还能够按分位数统计。有以下几种方式来产生汇总（假设度量指标为）：

按分位数，也就是采样值小于该分位数的个数占总数的比例小于 φ，相当于 {quantile="<φ>"}
采样值总和，相当于 _sum
采样值总数，相当于 _count

5. 任务（Job）和实例（Instance）

在 Prometheus 里，可以从中抓取采样值的端点称为实例，为了性能扩展而复制出来的多个这样的实例形成了一个任务。

例如下面的 api-server 任务有四个相同的实例：

job: api-server
instance 1: 1.2.3.4:5670
instance 2: 1.2.3.4:5671
instance 3: 5.6.7.8:5670
instance 4: 5.6.7.8:5671

Prometheus 抓取完采样值后，会自动给采样值添加下面的标签和值：

job: 抓取所属任务。
instance: 抓取来源实例
另外每次抓取时，Prometheus 还会自动在以下时序里插入采样值：

up{job="[job-name]", instance="instance-id"}：采样值为 1 表示实例健康，否则为不健康
scrape_duration_seconds{job="[job-name]", instance="[instance-id]"}：采样值为本次抓取消耗时间
scrape_samples_post_metric_relabeling{job="", instance=""}：采样值为重新打标签后的采样值个数
scrape_samples_scraped{job="", instance=""}：采样值为本次抓取到的采样值个数