prometheus是一套系统和服务监控系统。它以给定的时间间隔从已配置的目标收集指标，评估规则表达式，显示结果，并在发现某些情况为真时触发警报。[prometheus官网]
grafana 是一款采用 go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具。[grafana官网]
下面我们将使用prometheus强大的数据采集分析功能，grafana优秀的前端展示能力，搭建一套监控系统。
准备工作
在每台机器上都需要先安装并启动docker。
- 安装docker
yum install docker
- 启动docker
service docker start
安装prometheus
1. 安装采集器
采集器有多种类型，比如采集系统数据，采集nginx数据，采集mysql数据等等。可以根据需要在目标主机上安装需要的采集器。可以根据自己的需要安装一个或多个。
安装linux指标采集器
docker run -d -p 9100:9100 -v "/proc:/host/proc:ro" -v "/sys:/host/sys:ro" -v "/:/rootfs:ro" prom/node-exporter
安装nginx指标采集器
docker run -d -p 9113:9113 --net="host" nginx/nginx-prometheus-exporter -nginx.scrape-uri http://localhost:8080/nginx_status
注意：nginx.scrape-uri后面的地址，可以通过curl 访问并返回指标数据。
如果不能正常访问则需要在nginx.conf配置文件中增加以下一段内容。
server {
listen 8080
location = /nginx_status {
stub_status on;
allow 127.0.0.1;
deny all;
}
}
安装cadvisor指标采集器
cadvisor可以监控docker容器的各种指标。
docker run --volume=/:/rootfs:ro --volume=/var/run:/var/run:ro --volume=/sys:/sys:ro --volume=/var/lib/docker/:/var/lib/docker:ro --volume=/dev/disk/:/dev/disk:ro --publish=8090:8080 --detach=true --name=cadvisor google/cadvisor
如果出现重名错误则执行以下语句后重新启动docker。
docker rm $(docker ps -a -q)
可能有些机器上会出现/sys/fs/cgroup/cpuacct,cpu: no such file or directory报错，执行以下语句后，重新启动docker。
ln -s /sys/fs/cgroup/cpu,cpuacct /sys/fs/cgroup/cpuacct,cpu
然后在prometheus.yml文件中进行相应配置即可。
使用docker-compose安装采集器
version: "2"
services:
node_export:
image: prom/node-exporter
ports:
- 8091:9100
volumes:
- /:/rootfs:ro
cadvisor:
image: google/cadvisor
ports:
- 8090:8080
volumes:
- /:/rootfs:ro
- /var/run:/var/run:ro
- /sys:/sys:ro
- /var/lib/docker/:/var/lib/docker:ro
使用以下命令启动
docker-compose -f monitor-metrics.yaml up -d
2. 安装prometheus
创建prometheus配置文件。
mkdir /opt/prometheus
cd /opt/prometheus/
vi /opt/prometheus/prometheus.yml
文件内容如下，需要根据自己的实际情况进行修改
# Prometheus全局配置项
global:
scrape_interval: 15s # 设定抓取数据的周期，默认为1min
evaluation_interval: 15s # 设定更新rules文件的周期，默认为1min
scrape_timeout: 15s # 设定抓取数据的超时时间，默认为10s
external_labels: # 额外的属性，会添加到拉取得数据并存到数据库中
monitor: 'codelab_monitor'
# Alertmanager配置
alerting:
alertmanagers:
- static_configs:
- targets: ["localhost:9093"] # 设定alertmanager和prometheus交互的接口，即alertmanager监听的ip地址和端口
# rule配置，首次读取默认加载，之后根据evaluation_interval设定的周期加载
rule_files:
- "alertmanager_rules.yml"
- "prometheus_rules.yml"
# scape配置
scrape_configs:
- job_name: 'prometheus' # job_name默认写入timeseries的labels中，可以用于查询使用
scrape_interval: 15s # 抓取周期，默认采用global配置
static_configs: # 静态配置
- targets: ['localhost:9100'] # prometheus所要抓取数据的地址，即instance实例项
- job_name: 'example-random' #个人测试用接口
static_configs:
- targets: ['localhost:8080']
主要是 scrape_configs 的配置，根据每一台要监控的机器，添加一组描述，targets里面填写采集器的ip和端口。job_name每个都不能相同。
这是一个配置的例子
global:
scrape_interval: 60s
evaluation_interval: 60s
scrape_configs:
- job_name: prometheus
static_configs:
- targets: ['localhost:9090']
labels:
instance: prometheus
- job_name: linux2
static_configs:
- targets: ['123.45.2.34:9100']
labels:
instance: order
- job_name: linux3
static_configs:
- targets: ['123.45.2.39:9113']
labels:
instance: login
启动prometheus
docker run -d -p 9090:9090 --net=host -v /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus
安装grafana
准备本地保存数据的目录。
mkdir /opt/grafana-storage
chmod 777 -R /opt/grafana-storage
启动grafana
docker run -d -p 3000:3000 --name=grafana --net=host -v /opt/grafana-storage:/var/lib/grafana grafana/grafana
接下来打开 http://localhost:3000
输入用户名 admin 密码 admin
配置prometheus数据源后，可以开始使用了。
使用docker-compose安装
准备本地保存数据的目录。
mkdir /opt/grafana-storage
chmod 777 -R /opt/grafana-storage
mkdir /opt/prometheus/storage
chmod 777 -R /opt/prometheus/storage
准备promethues.yaml文件
version: '2'
services:
prometheus:
image: prom/prometheus
ports:
- '9090:9090'
volumes:
- /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml
- /opt/prometheus/storage:/prometheus
- /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime
network_mode: "host"
grafana:
image: grafana/grafana
ports:
- '3000:3000'
volumes:
- /opt/grafana-storage:/var/lib/grafana
- /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime
network_mode: "host"
启动prometheus
docker-compose -f promethues.yaml up -d
参考资料
https://prometheus.io/docs/prometheus/latest/querying/basics/
https://grafana.com/grafana/dashboards
https://www.cnblogs.com/Leslieblog/p/11157958.html
https://www.cnblogs.com/xiao987334176/p/9930517.html
Grafana 的一些使用技巧