Prometheus+Grafana

K8S

prometheus

  • K8S
    • 1.Prometheus(普罗米修斯)
    • 2.Prometheus可以做什么
    • 3.Prometheus的特点
    • 4.prometheus 相关组件
  • 二、prometheus与zabbix的区别
    • zabbix架构
    • 区别
  • 三、prometheus架构分析
    • 1.TSDB
    • 2.时间序列数据库的特点
    • 3.prometheus 相关组件
      • 1.prometheus 核心组件
      • 2.Prometheus官方exporter
    • 4.Third-party exporter
      • 1.主机指标收集
      • 2.软件指标收集
      • 3.系统指标收集
    • 4.Prometheus适用的场景
      • Prometheus不适用的场景
  • 四、在K8S平台部署prometheus
    • 1、物理机安装方式
      • 1,下载安装包
      • 2,安装服务
          • 192.168.122.50
            • 安装Prometheus
            • 安装influxdb
          • 192.168.122.40
            • 安装 Node_Exporter
          • 192.168.122.50
          • 192.168.122.20
            • 安装Grafana

1.Prometheus(普罗米修斯)

Prometheus (中文名:普罗米修斯)是由 SoundCloud 开发的开源监控报警系统和时序列数据库(TSDB).自2012年起,许多公司及组织已经采用 Prometheus,并且该项目有着非常活跃的开发者和用户社区.现在已经成为一个独立的开源项目。Prometheus 在2016加入 CNCF ( Cloud Native Computing Foundation ), 作为在 kubernetes 之后的第二个由基金会主持的项目。 Prometheus 的实现参考了Google内部的监控实现,与源自Google的Kubernetes结合起来非常合适。另外相比influxdb的方案,性能更加突出,而且还内置了报警功能。它针对大规模的集群环境设计了拉取式的数据采集方式,只需要在应用里面实现一个metrics接口,然后把这个接口告诉Prometheus就可以完成数据采集了,下图为prometheus的架构图

Prometheus基本原理是通过HTTP协议周期性抓取被监控组件的状态,这样做的好处是任意组件只要提供HTTP接口就可以接入监控系统,不需要任何SDK或者其他的集成过程。这样做非常适合虚拟化环境比如VM或者Docker 。

2.Prometheus可以做什么

在业务层用作埋点系统 Prometheus支持各个主流开发语言(Go,java,python,ruby官方提供客户端,其他语言有第三方开源客户端)。我们可以通过客户端方面的对核心业务进行埋点。如下单流程、添加购物车流程。在应用层用作应用监控系统 一些主流应用可以通过官方或第三方的导出器,来对这些应用做核心指标的收集。如redis,mysql。在系统层用作系统监控 除了常用软件, prometheus也有相关系统层和网络层exporter,用以监控服务器或网络。集成其他的监控 prometheus还可以通过各种exporte,集成其他的监控系统,收集监控数据,如AWS CloudWatch,JMX,Pingdom等等。不要用Prometheus做什么

prometheus也提供了Grok exporter等工具可以用来读取日志,但是prometheus是监控系统,不是日志系统。应用的日志还是应该走ELK等工具栈。

3.Prometheus的特点

1、多维数据模型(时序列数据由metric名和一组key/value组成)
2、灵活的查询语言(PromQl)
3、不依赖分布式存储,单个服务器节点是自主的
4、通过基于HTTP的pull方式采集时序数据
5、可以通过中间网关进行时序列数据推送(pushing)
6、目标服务器可以通过发现服务或者静态配置实现
7、支持多种多样的图表和界面展示,比如Grafana等
8、支持分层和水平联邦

4.prometheus 相关组件

prometheus 相关组件,Prometheus生态系统由多个组件组成,其中许多是可选的
1、Prometheus 主服务,用来抓取和存储时序数据
2、client library 用来构造应用或 exporter 代码 (go,java,python,ruby)
3、push 网关可用来支持短连接任务
4、可视化的dashboard (两种选择,promdash 和 grafana.目前主流选择是 grafana.)
4、一些特殊需求的数据出口(用于HAProxy, StatsD, Graphite等服务)
5、实验性的报警管理端(alartmanager,单独进行报警汇总,分发,屏蔽等 )

二、prometheus与zabbix的区别

zabbix架构

Prometheus+Grafana_第1张图片

Prometheus+Grafana_第2张图片

区别

Prometheus+Grafana_第3张图片

三、prometheus架构分析

Prometheus+Grafana_第4张图片

1.TSDB

TSDB(Time Series Database)时序列数据库,我们可以简单的理解为一个优化后用来处理时间序列数据的软件,并且数据中的数组是由时间进行索引的。

2.时间序列数据库的特点

大部分时间都是写入操作。
写入操作几乎是顺序添加,大多数时候数据到达后都以时间排序。
写操作很少写入很久之前的数据,也很少更新数据。大多数情况在数据被采集到数秒或者数分钟后就会被写入数据库。
删除操作一般为区块删除, 选定开始的历史时间并指定后续的区块。很少单独删除某 个时间或者分开的随机时间的数据。
基本数据大,一般超过内存大小。一般选取的只是其一小部分且没有规律,缓存几乎不起任何作用。
读操作是十分典型的升序或者降序的顺序读。
高并发的读操作十分常见。

3.prometheus 相关组件

prometheus 相关组件,Prometheus生态系统由多个组件组成,其中许多是可选的
Prometheus+Grafana_第5张图片

1.prometheus 核心组件

prometheus tcp/9090 主服务,用来抓取和存储时序数据
pushgateway tcp/9091 push 的方式将指标数据推送到该网关
alertmanager tcp/9093 处理报警的报警组件

2.Prometheus官方exporter

node_exporter tcp/9100
haproxy_exporter tcp/9101
statsd_exporter tcp/9102
mysqld_exporter tcp/9104
consul_exporter tcp/9107
graphite_exporter tcp/9108
memcached_exporte tcp/9150
blackbox_exporter tcp/9115

4.Third-party exporter

1.主机指标收集

借助当前主机上的普通户用身份,获取cpu、memory、disk、网络、进程信息。
代表:node exporter

2.软件指标收集

软件所在主机的普通用户身份
软件内的登陆凭证和相应权限
代表: mysql exporter

3.系统指标收集

系统登陆凭证
系统自带metric子系统
代表: cloudwatch exporter

4.Prometheus适用的场景

记录纯数字时间序列方面表现非常好

面向服务器等硬件指标的监控和高动态的面向服务架构的监控

多维度数据收集和强大的数据筛选查询语言适合微服务架构

它的搭建过程对硬件和服务没有很强的依赖关系

Prometheus不适用的场景

Prometheus 是基于 Metric 的监控,不适用于日志(Logs)、事件(Event)、调用链(Tracing)。

Prometheus 默认是 Pull 模型,合理规划你的网络,尽量不要转发。

对于集群化和水平扩展,官方和社区都没有银弹,需要合理选择 Federate、Cortex、Thanos 等方案。

监控系统一般情况下可用性大于一致性,容忍部分副本数据丢失,保证查询请求成功。这个后面说 Thanos 去重的时候会提到。

Prometheus 不一定保证数据准确,这里的不准确一是指 rate、histogram_quantile 等函数会做统计和推断,产生一些反直觉的结果,这个后面会详细展开。二来查询范围过长要做降采样,势必会造成数据精度丢失,不过这是时序数据的特点,也是不同于日志系统的地方。

四、在K8S平台部署prometheus

1、物理机安装方式

ip 角色
192.168.122.50 Prometheus、influxdb
192.168.122.40 Client
192.168.122.20 Granfana
所有服务器指定时间服务器
yum -y install ntpdate
/usr/sbin/ntpdate ntp1.aliyun.com

1,下载安装包

192.168.122.50
wget https://github.com/prometheus/prometheus/releases/download/v2.16.0/prometheus-2.16.0.linux-amd64.tar.gz
wget https://dl.influxdata.com/influxdb/releases/influxdb-1.7.8.x86_64.rpm
192.168.122.40
[root@Client ~]# wget https://github.com/prometheus/node_exporter/releases/download/v0.18.1/node_exporter-0.18.1.linux-amd64.tar.gz
192.168.122.20
wget https://dl.grafana.com/oss/release/grafana-6.1.4-1.x86_64.rpm

2,安装服务

192.168.122.50
安装Prometheus
useradd -s /sbin/nologin prometheus
tar zvxf prometheus-2.16.0.linux-amd64.tar.gz
mv prometheus-2.16.0.linux-amd64 /usr/local/prometheus
chown -R prometheus:prometheus /usr/local/prometheus/

在这里插入图片描述

vim /usr/lib/systemd/system/prometheus.service
[Unit]
Description=prometheus
After=network.target 
[Service]
User=prometheus
Group=prometheus
WorkingDirectory=/usr/local/prometheus
ExecStart=/usr/local/prometheus/prometheus
[Install]
WantedBy=multi-user.target

Prometheus+Grafana_第6张图片

systemctl daemon-reload
systemctl enable --now prometheus	  # 启动并开启自启		

Prometheus+Grafana_第7张图片
Prometheus+Grafana_第8张图片

安装influxdb
rpm -ivh localinstall influxdb-1.7.8.x86_64.rpm
cp /etc/influxdb/influxdb.conf /etc/influxdb/influxdb.conf.default
systemctl enable --now influxdb
[root@localhost ~]# influx
Connected to http://localhost:8086 version 1.7.8
InfluxDB shell version: 1.7.8
> create database prometheus;
> exit

Prometheus+Grafana_第9张图片

vim /usr/local/prometheus/prometheus.yml
在最后面添加:
remote_write:
  - url: "http://localhost:8086/api/v1/prom/write?db=prometheus"
remote_read:
  - url: "http://localhost:8086/api/v1/prom/read?db=prometheus"

Prometheus+Grafana_第10张图片

systemctl restart prometheus									# 重启 Prometheus
192.168.122.40
安装 Node_Exporter
tar zxvf node_exporter-0.18.1.linux-amd64.tar.gz
mv node_exporter-0.18.1.linux-amd64 /usr/local/exporter/
vim /usr/lib/systemd/system/node_exporter.service
[Unit]
Description=node_exporter
After=network.target 
[Service]
User=prometheus
Group=prometheus
ExecStart=/usr/local/exporter/node_exporter \
          --web.listen-address=:20001 \
          --collector.systemd \
          --collector.systemd.unit-whitelist=(sshd|nginx).service \
          --collector.processes
[Install]
WantedBy=multi-user.target

Prometheus+Grafana_第11张图片

systemctl daemon-reload
systemctl enable --now node_exporter

Prometheus+Grafana_第12张图片
Prometheus+Grafana_第13张图片

192.168.122.50
vim /usr/local/prometheus/prometheus.yml
添加
  - job_name: "Client"
    static_configs:
    - targets: ['192.168.122.40:20001']

Prometheus+Grafana_第14张图片

systemctl restart prometheus

Prometheus+Grafana_第15张图片

192.168.122.20
安装Grafana
rpm -ivh grafana-6.1.4-1.x86_64.rpm
systemctl enable --now grafana-server
netstat -tlnup | grep 3000

登录Grafana的web界面

http://192.168.122.20:3000/
admin/admin
登陆后需重新设置密码

Prometheus+Grafana_第16张图片
Prometheus+Grafana_第17张图片
Prometheus+Grafana_第18张图片
Prometheus+Grafana_第19张图片
Prometheus+Grafana_第20张图片
Prometheus+Grafana_第21张图片
Prometheus+Grafana_第22张图片
Prometheus+Grafana_第23张图片


你可能感兴趣的:(linux系统,监控,prometheus,grafana,运维)