Grafana+Prometheus/Loki 服务器监控及日志监控

背景：因业务需求，需要对服务器性能进行监控及告警，同时，对业务日志进行展示与告警。
综合之下，决定使用Grafana及其周边数据源进行相关监控的建设，完成从展示到告警的全流程链路。

Grafana+Prometheus

Grafana+Prometheus+node_exporter完成服务器性能监控，包括如cpu，磁盘读写与使用，网络，负载等等。
Grafana+Prometheus+mysqld_exporter可以完成对数据库的监控。

Grafana

下载

官方下载地址：点击跳转至官方下载地址

部署

默认端口为：3000 请确保与现有端口不冲突，如遇冲突请调整。

#本文采用的是下载到本地，后上传到服务器安装部署的方式。
#规划：安装在/usr/local下面
#以root账号，在/usr/local创建文件夹grafana，并将安装包放置在此目录下
mkdir grafana
# 将安装包grafana-9.0.2-1.x86_64.rpm移动到此目录下，安装
yum grafana-9.0.2-1.x86_64.rpm
#启动服务，并加入开机自启动
systemctl daemon-reload
systemctl start grafana-server #systemctl stop grafana-server  systemctl restart grafana-server
#查看启动结果
systemctl status grafana-server
#加入开机自启动
systemctl enable grafana-server

验证部署是否成功

在浏览器中输入http://ip:3000，如果可以出现即正常，首次登录名和密码默认均为admin，登陆后需要修改。

Prometheus

下载

官方下载地址：点击跳转至官方下载地址

部署

默认端口为：9090 请确保与现有端口不冲突，如遇冲突请调整。
node_exporter默认端口：9100 因为Prometheus已经集成，无需单独安装部署

#本文采用的是下载到本地，后上传到服务器安装部署的方式。
#规划：安装在/usr/local下面
#以root账号，在/usr/local创建文件夹prometheus，并将安装包放置在此目录下
mkdir prometheus
# 将安装包prometheus-2.31.1.linux-amd64.tar.gz移动到此目录下，解压
tar xvf prometheus-2.31.1.linux-amd64.tar.gz
#此版本已经默认集成了node_exporter,具体可以看解压文件夹下是否有node_exporter相关目录
#修改配置文件prometheus.yml
cd prometheus-2.