微服务监控告警：Prometheus

来源：
《微服务架构实战160讲》

微服务监控告警

prometheus是多维度（标签）的，使用拉模式，黑盒白盒都支持，对DevOps友好，适用中小规模

支持的Metric种类：计数器、测量仪、直方图、汇总图

prometheus的Metrics案例：

influxDB不仅可以做监控，还可以对业务进行一些分析

1 四种主要监控方式

prometheus主要是Metrics方式（可以对离散数据进行聚合运算，还可以打标签）和Healthchecks方式结合

• 适用场景
  
• Metrics监控架构
  
  Alerts可以对接邮件、微信等，可以做去重、分组、路由

2 时间序列

一系列时间点连起来就形成时间序列

如图产生了一个时间序列矩阵，本质就是不同时间点产生不同的值，存储在数据库中，给出的红框案例为四个时间序列，request_total、errors_total是时间序列的名称，path和method是标签，不同标签，时间序列也不同

3 架构设计

一般情况是拉取（Jobs/Exporters），对于短周期可以使用推（Short-lived jobs）到push网关再去拉，也可以pull其他PrometheusServer，这也就是集群

拉取的话就需要知道要拉取的服务地址，即需要服务发现，所以有了ServiceDiscovery

Retrieval模块定时拉取数据，并通过Storage模块保存数据，而PromQL为Prometheus提供查询语法，PromQL模块通过解析语法树，调用Storage模块查询接口获取监控数据。

右侧是告警和页面展现：
Prometheus将告警推送到alertmanger，然后通过alertmanger对告警进行处理并执行相应动作。
数据展现除了Prometheus自带的WebUI，还可以通过Grafana等组件查询Prometheus监控数据。

Exporters是用来间接采集的，如果不能直接采集就只能通过Exporters来间接采集，如Redis、Mysql等都可以做Exporters

• 存储设计

以一个时间间隔作为一个时间块，一开始为mutable，在内存中，如果满了就变为Immutable，每两个小时产生一个mutable：

查询时，根据时间定位到块

每一个块的数据：

4 实践

• 四个黄金指标

延迟、流量/吞吐、错误、饱和度（衡量资源使用情况）

• Cardinality（基数）

为Label的可能取值，新增一个 Label 值=新增一个时间序列

经验值：单实例 Cardinality <= 10个

以下属性不适合做 Label：
• Email Email 地址
• 用户名
• IP 地址
• HTTP Path HTTP Path

一般关注 10 个最大的 metrics，而高Cardinality场景，如要监控ip等，用 Log系统

• 高可用

做HA，两个Prometheus来实现，而数据可以交给远程存储，因为本地的15天就会过期；如果规模太大，还可以加上联邦集群，不同团队使用不同的Prometheus，由上层两个Prometheus进行聚合：

5 ZMon：分布式监控平台

Prometheus是基于团队的，每个团队自己搭建一个，而Zmon是基于整体的

适合大规模，使用拉模式，基于KairosDB实现，其架构如下：

可以看作是一个任务队列，使用消费者生产者模型，左侧产生任务，交给Redis，由右边的Worker处理完后，存储到DB或Redis