分布式监控平台—zabbix
- 前言
- 一、zabbix概述
-
- 1.1 什么是zabbix
- 1.2 zabbix的监控原理
- 1.3 zabbix常见五个应用程序
- 1.4 zabbix的监控模式
- 1.5 监控架构
-
- 1.5.1 C/S（server—client）
- 1.5.2 server—proxy—client
- 1.5.3 master—node—client
- 二、部署zabbix
-
- 2.1 部署 zabbix server 端
- 2.2 部署 zabbix 客户端
- 2.3 将客户端加入服务端的监控主机中
- 三、创建自定义监控模板
-
- 3.1 自定义监控内容
- 3.2 在 Web 页面创建自定义监控项模板
-
- 3.2.1 创建模板
- 3.2.2 创建应用集（用于管理监控项的）
- 3.2.3 创建监控项
- 3.2.4 创建触发器（当监控项获取到监控的值后和触发器预设的值进行对比，判断是否报警）
- 3.2.5 创建图形
- 3.2.6 将主机与模板关联起来（一个主机可以关联多个模板）
- 3.2.7 设置邮件报警
- 3.2.8 测试邮件报警
- 四、zabbix 自动发现与自动注册
-
- 4.1 zabbix 自动发现（对于 agent2 是被动模式）
-
- 4.1.1 确保客户端上的 zabbix-agent2 服务状态正常
- 4.1.2 在 Web 页面删除原有的客户端主机
- 4.1.3 在服务端和客户端上配置 hosts 解析
- 4.1.4 在 Web 页面配置自动发现
- 4.2 zabbix 自动注册（对于 agent2 是主动模式）
-
- 4.2.1 环境准备
- 4.2.2 修改 zabbix-agent2 配置文件
- 4.2.3 在 Web 页面配置自动注册
- 五、部署 zabbix 代理服务器
-
- 5.1 配置 zbx-proxy（192.168.147.102）
- 5.2 在 Web 页面配置 agent 代理
- 5.3 配置 agent 使用 proxy
-
- 5.3.1 在客户端修改 agent2 配置文件
- 5.3.2 在 Web 页面配置
- 5.3.3 分别在客户端和代理服务器上重启服务
前言
作为一个运维，需要会使用监控系统查看服务器状态以及网站流量指标，利用监控系统的数据去了解上线发布的结果，和网站的健康状态。
利用一个优秀的监控软件，我们可以：
- 通过一个友好的界面进行浏览整个网站所有的服务器状态
- 可以在Web 前端方便的查看监控数据
- 可以回溯寻找事故发生时系统的问题和报警情况
一、zabbix概述
1.1 什么是zabbix
zabbix是一个基于Web界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。
zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。
zabbix由2部分构成，zabbix server 与可选组件zabbix agent。 通过c/s 模式采集数据，通过B/s模式在web端展示和配置。
zabbix server 可以通过SNMP（简单网络管理协议），zabbix agent，ping， 端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能，它 可以运行在Linux等平台上。（支持多个平台，windows也支持）
zabbix agent需要安装在被监视的目标服务器上，它主要完成对硬件信息或与操作系统有关的内存，CPU等信息的收集。
主要功能：监控CPU、内存、IO、端口、日志、应用等
运行机制：C\S（zabbix_server zabbix_agent）安装在被监控端
1.2 zabbix的监控原理
zabbix agent安装在被监控的主机上，zabbix agent 负责定期收集客户端本地各项数据，并发送至zabbix server 端，zabbix server收到数据后，将数据存储到数据库中，用户基于zabbix WEB可以看到数据在前端展现图像。
当zabbix 监控某个具体的项目，该项目会设置一个触发器阈值，当被监控的指标超过该触发器设定的阈值，会进行一些必要的动作，动作包括：发送信息(邮件、微信、短信)、发送命令(shell 命令、reboot、 restart、 install 等)。
监控对象：硬件监控、系统监控、Java监控、网络设备监控、应用服务监控、MySQL数据库监控、URL监控
1.3 zabbix常见五个应用程序
zabbix监控部署在系统中，包含常见的五个程序: zabbix server、 zabbix agent、 zabbix proxy、zabbix get、zabbix sender 等。
（1） zabbix server： zabbix 服务端守护进程，其中zabbix_agent、 zabbix_ get、zabbix_sender、 zabbix_proxy的数据最终都提交给zabbix server；
（2） zabbix agent： 客户端守护进程，负责收集客户端数据，例如:收集CPU负载、内存、硬盘使用情况等；
（3）zabbix proxy： zabbix分布式代理守护进程，通常大于500台主机，需要进行分布式监控架构部署；
（4）zabbix get： zabbix 数据接收工具，单独使用的命令，通常在server 或者proxy端执行获取远程客户端信息的命令；
（5）zabbix sender： zabbix 数据发送工具，用户发送数据给server 或proxy端，通常用户耗时比较长的检查。
1.4 zabbix的监控模式
主动模式：zabbix agent主动将采集到的监控信息传输给zabbix server（一定程度上减缓zabbix_server的压力）
被动模式：zabbix server向zabbix agent索要采集到的监控信息，zabbix agent返回采集到的数据
1.5 监控架构
1.5.1 C/S（server—client）
是最简单的架构，监控机器和别监控机器之间不经过任何处理，直接由zabbix-server 和zabbix-agent之间进:行数据交换。适用于网络比较简单，尽量在局域网内，设备比较少的监控环境
1.5.2 server—proxy—client
其实proxy 是 server 和 client 沟通之间的桥梁，proxy本身没有前端，而目其本身不存放数据，只是将agent发来的数据暂时存放，而后再提交给server, 这种架构是和master-node-client架构来去做比较的架构，一般适用于跨机房，跨网络或中型网络架构的监控
1.5.3 master—node—client
与server-proxy-client相比，master-node-client架构的主要区别在于node与proxy上。在master-node-client架构中，每个node可以理解为一个小的server端，有自己的配置文件和数据库，node下游可以直接连接client，也可以再次经过proxy代理后连接client。在master-node-client架构中，master设备宕机不会影响node结点的正常工作。
二、部署zabbix
实验环境
| 节点 | IP |
|---|---|
| zabbix-server | 192.168.147.100 |
| zabbix-agent | 192.168.147.101 |
systemctl disable --now firewalld
setenforce 0
hostnamectl set-hostname zbx-server
2.1 部署 zabbix server 端
//获取 zabbix 的下载源
rpm -ivh https://mirrors.aliyun.com/zabbix/zabbix/5.0/rhel/7/x86_64/zabbix-release-5.0-1.el7.noarch.rpm
//更换 zabbix.repo 为阿里源
cd /etc/yum.repos.d
sed -i 's#http://repo.zabbix.com#https://mirrors.aliyun.com/zabbix#' zabbix.repo
yum clean all && yum makecache
yum install -y zabbix-server-mysql zabbix-agent
//安装SCL(Software Collections)，便于后续安装高版本的 php，默认 yum 安装的 php 版本为 5.4，版本过低，zabbix 5.0 版本对 php 版本最低要 7.2.0 版本。SCL 可以使得在同一台机器上使用多个版本的软件，而又不会影响整个系统的依赖环境。软件包会安装在 /opt/rh 目录下。
yum install -y centos-release-scl
//修改 zabbix-front 前端源，安装 zabbix 前端环境到 scl 环境下
vim zabbix.repo
......
[zabbix-frontend]
......
enabled=1 #开启安装源
......
yum install -y zabbix-web-mysql-scl zabbix-apache-conf-scl
//安装 zabbix 所需的数据库
yum install -y mariadb-server mariadb
systemctl enable --now mariadb
mysql_secure_installation #初始化数据库，并设置密码，如 abc123
//添加数据库用户，以及 zabbix 所需的数据库信息
mysql -u root -pabc123
CREATE DATABASE zabbix character set utf8 collate utf8_bin;
GRANT all ON zabbix.* TO 'zabbix'@'%' IDENTIFIED BY 'zabbix';
flush privileges;
//导入数据库信息
rpm -ql zabbix-server-mysql #查询 sql 文件的位置
zcat /usr/share/doc/zabbix-server-mysql-5.0.24/create.sql.gz | mysql -uroot -pabc123 zabbix
//修改 zabbix server 配置文件，修改数据库的密码
vim /etc/zabbix/zabbix_server.conf
......
DBPassword=zabbix #124行，指定 zabbix 数据库的密码
//修改 zabbix 的 php 配置文件
vim /etc/opt/rh/rh-php72/php-fpm.d/zabbix.conf
......
php_value[date.timezone] = Asia/Shanghai #25行，取消注释，修改时区
//启动 zabbix 相关服务
systemctl restart zabbix-server zabbix-agent httpd rh-php72-php-fpm
systemctl enable zabbix-server zabbix-agent httpd rh-php72-php-fpm
浏览器访问：http://192.168.147.100/zabbix
点击下一步，设置数据库的密码 zabbix
安装完成后，默认的登录账号和密码为：Admin/zabbix
设置文件界面：点击左边菜单栏的【User settings】，【Language】选择 Chinese(zh_CN)，再点击 Update 更新。
//解决 zabbix-server Web页面中文乱码问题
yum install -y wqy-microhei-fonts
cp -f /usr/share/fonts/wqy-microhei/wqy-microhei.ttc /usr/share/fonts/dejavu/DejaVuSans.ttf
2.2 部署 zabbix 客户端
zabbix 5.0 版本采用 golang 语言开发的新版本客户端 agent2 。
zabbix 服务端 zabbix_server 默认使用 10051 端口，客户端 zabbix_agent2 默认使用 10050 端口。
systemctl disable --now firewalld
setenforce 0
//服务端和客户端都配置时间同步
yum install -y ntpdate
ntpdate -u ntp.aliyun.com
//客户端配置时区，与服务器保持一致
mv /etc/localtime{,.bak}
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
date
//设置 zabbix 的下载源，安装 zabbix-agent2
rpm -ivh https://mirrors.aliyun.com/zabbix/zabbix/5.0/rhel/7/x86_64/zabbix-release-5.0-1.el7.noarch.rpm
cd /etc/yum.repos.d
sed -i 's#http://repo.zabbix.com#https://mirrors.aliyun.com/zabbix#' /etc/yum.repos.d/zabbix.repo
yum install -y zabbix-agent2
//修改 agent2 配置文件
vim /etc/zabbix/zabbix_agent2.conf
......
Server=192.168.147.100 #80行，指定 zabbix 服务端的 IP 地址
ServerActive=192.168.147.100 #125行，指定 zabbix 服务端的 IP 地址
Hostname=zbx-agent01 #136行，指定当前 zabbix 客户端的主机名
//启动 zabbix-agent2
systemctl start zabbix-agent2
systemctl enable zabbix-agent2
netstat -natp | grep zabbix
tcp6 0 0 :::10050 :::* LISTEN 43654/zabbix_agent2
在服务端验证 zabbix-agent2 的连通性
yum install -y zabbix-get #安装 zabbix 主动获取数据的命令
zabbix_get -s '192.168.147.101' -p 10050 -k 'agent.ping'
1
zabbix_get -s '192.168.147.101' -p 10050 -k 'system.hostname'
zbx-agent
2.3 将客户端加入服务端的监控主机中
点击左边菜单栏【配置】中的【主机】，点击【创建主机】
【主机名称】设置成 zbx-agent
【可见的名称】设置成 zbx-agent-192.168.147.101
【群组】选择 Linux server
【Interfaces】的【IP地址】设置成 192.168.147.101
再点击上方菜单栏【模板】
【Link new tamplates】搜索 Linux ，选择 Template OS Linux by Zabbix agent
点击 【添加】
这里需要等待一段时间
三、创建自定义监控模板
自定义脚本监控 https://kaikai136.blog.csdn.net/article/details/111309497?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-111309497-blog-123223449.pc_relevant_paycolumn_v3&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-111309497-blog-123223449.pc_relevant_paycolumn_v3&utm_relevant_index=1
3.1 自定义监控内容
案列：自定义监控客户端服务器登录的人数
需求：限制登录人数不超过 3 个，超过 3 个就发出报警信息
//在客户端创建自定义 key
1.明确需要执行的 linux 命令
who | wc -l
2.创建 zabbix 的监控项配置文件，用于自定义 key
vim /etc/zabbix/zabbix_agent2.conf
#可以将自定义的监控项配置文件创建在 zabbix_agent2.d 目录中
273 Include=/etc/zabbix/zabbix_agent2.d/*.conf
#自定义监控项的格式如下
296 # Format: UserParameter=,
cd /etc/zabbix/zabbix_agent2.d/
vim UserParameter_login.conf
UserParameter=login.user,who|wc -l
systemctl restart zabbix-agent2
3.在服务端验证新建的监控项
zabbix_get -s '192.168.147.101' -p 10050 -k 'login.user'
3.2 在 Web 页面创建自定义监控项模板
3.2.1 创建模板
点击左边菜单栏【配置】中的【模板】，点击【创建模板】
【模板名称】设置成 Template Login User
【可见的名称】设置成 Template Login User
【群组】选择 Templates
【描述】可自定义
点击 【添加】，此时就可在【链接的模板】中搜索到 Template Login User 了
3.2.2 创建应用集（用于管理监控项的）
点击上方菜单栏【应用集】，点击【创建应用集】
【名称】设置成 Login User
点击 【添加】
3.2.3 创建监控项
点击上方菜单栏【监控项】，点击【创建监控项】
【名称】设置成 Number of login users
【键值】设置成 login.user #键值必须要与自定义的监控项配置文件中设置的保持一致
【更新间隔】设置成 10s
【历史数据保留时长】Storage period 30d #保留时间可自定义设置
点击 【添加】
3.2.4 创建触发器（当监控项获取到监控的值后和触发器预设的值进行对比，判断是否报警）
点击上方菜单栏【触发器】，点击【创建触发器】
【名称】设置成 Number of login users is greater than 3
【严重性】设置成 一般严重
【表达式】点击添加，【监控项】点击选择 Number of login users，【功能】选择 last()，【结果】选择 > 3，点击 【插入】
点击 【添加】
3.2.5 创建图形
点击上方菜单栏【图形】，点击【创建图形】
【名称】设置成 Number of login users
【宽】、【高】可直接采用默认值
【监控项】点击添加勾选相关监控项 Number of login users，【功能】选择 最大，其它可保持默认值
点击 【添加】
3.2.6 将主机与模板关联起来（一个主机可以关联多个模板）
点击左边菜单栏【配置】中的【主机】，点击你要关联的主机
点击上方菜单栏【模板】，【Link new tamplates】搜索 login，选择 Template Login User，点击【更新】
此时就点击【监测】中的【主机】，点击你关联主机的【图形】，即可查看到相关的监控项指标
验证是否成功
3.2.7 设置邮件报警
点击左边菜单栏【管理】中的【报警媒介类型】，点击【创建媒体类型】
【名称】设置成 qq_Email
【SMTP服务器】设置成 smtp.qq.com
【SMTP服务器端口】设置成 25
【SMTP HELO】设置成 qq.com
【SMTP电邮】设置成 自己的邮箱地址，例如 [email protected]
【认证】选择 用户名和密码
【用户名称】设置成 自己的邮箱地址，例如 [email protected]
【密码】可登录QQ邮箱页面，点击【设置】–>【账户】中的【生成授权码】，通过短信获取授权码
【描述】可自定义
点击上方菜单栏【Message templates】，点击【添加】，【Message type】选择 问题，点击【更新】
点击 【添加】，并测试功能
点击左边菜单栏【User settings】–>【报警媒介】，点击【添加】
【类型】选择 qq_Email
【收件人】设置成指定的邮箱
【当启用时】设置成 1-7,00:00-24:00
点击 【添加】
再点击 【更新】
点击左边菜单栏【配置】中的【动作】，选择相对应的动作名称，点击【启用】
3.2.8 测试邮件报警
增加测试客户端的用户登录数超过触发器预设的值，查看【监测】–>【仪表盘】，确认报警
四、zabbix 自动发现与自动注册
4.1 zabbix 自动发现（对于 agent2 是被动模式）
zabbix server 主动的去发现所有的客户端，然后将客户端的信息登记在服务端上。
缺点是如果定义的网段中的主机数量多，zabbix server 登记耗时较久，且压力会较大。
4.1.1 确保客户端上的 zabbix-agent2 服务状态正常
systemctl is-active zabbix-agent2.service
active
4.1.2 在 Web 页面删除原有的客户端主机
点击左边菜单栏【配置】中的【主机】，勾选原有的客户端主机，点击 删除
4.1.3 在服务端和客户端上配置 hosts 解析
vim /etc/hosts
192.168.147.100 zbx-server
192.168.147.101 zbx-agent
4.1.4 在 Web 页面配置自动发现
点击左边菜单栏【配置】中的【自动发现】，点击【创建发现规则】
【名称】设置成 mynetwork
【IP范围】设置成 192.168.147.1-254
【更新间隔】设置成 30s
【检查】点击【添加】，【检查类型】选择 Zabbix 客户端，【端口范围】设置成 10050，【键值】设置成 system.uname
【设备唯一性准则】选择 IP地址
【主机名称】选择 DNS名称
【可见的名称】选择 主机名称
勾选 【已启用】，点击 【更新】
点击左边菜单栏【配置】中的【动作】，上方菜单选择 【Discovery actions】
勾选 【Auto discovery. Linux servers.】，点击 【启用】
这里记得先将触发器动作关闭
点击左边菜单栏【配置】中的【主机】刷新，等待一段时间后即可刷新出自动发现的客户端主机
可在服务端查看 zabbix 日志
tail -f /var/log/zabbix/zabbix_server.log
......
42306:20230813:184832.509 enabling Zabbix agent checks on host "zbx-agent": host became available
4.2 zabbix 自动注册（对于 agent2 是主动模式）
zabbix agent2 会主动上报自己的信息，发给 zabbix server。
缺点是可能因为配置文件配置错误或者网络不通等原因导致 zabbix agent2 可能找不到 zabbix server。
4.2.1 环境准备
点击左边菜单栏【配置】中的【自动发现】，勾选发现规则，点击 禁用
点击左边菜单栏【配置】中的【主机】，勾选原有的客户端主机，点击 删除
vim /etc/hosts
192.168.147.100 zbx-server
192.168.147.101 zbx-agent
4.2.2 修改 zabbix-agent2 配置文件
vim /etc/zabbix/zabbix_agent2.conf
......
HostnameItem=system.hostname #144行，取消注释
egrep -v "^#|^$" /etc/zabbix/zabbix_agent2.conf
PidFile=/var/run/zabbix/zabbix_agent2.pid
LogFile=/var/log/zabbix/zabbix_agent2.log
LogFileSize=0
Server=192.168.147.100
ServerActive=192.168.147.100
Hostname=zbx-agent01
HostnameItem=system.hostname
Include=/etc/zabbix/zabbix_agent2.d/*.conf
ControlSocket=/tmp/agent.sock
4.2.3 在 Web 页面配置自动注册
点击左边菜单栏【配置】中的【动作】，上方菜单选择 【Autoregistration actions】，点击【创建动作】
【名称】设置成 Auto registration
点击 【添加】，【类型】选择 主机名称，【操作者】选择 包含，【值】设置成 zbx-agent
点击上方菜单栏【操作】，点击【添加】，【操作类型】选择 添加主机，点击 【add】
再点击【添加】，【操作类型】选择 添加到主机群组，【主机群组】选择 Linux servers，点击 【add】
再点击【添加】，【操作类型】选择 与模板关联，【模板】搜索 Linux，选择 Template OS Linux by Zabbix agent，点击 【add】
点击下方的【添加】
点击左边菜单栏【配置】中的【主机】刷新，等待一段时间后即可刷新出自动发现的客户端主机
在服务端查看 zabbix 日志
tail -f /var/log/zabbix/zabbix_server.log
42305:20230813:190231.134 enabling Zabbix agent checks on host "zbx-agent": host became available
五、部署 zabbix 代理服务器
分布式监控的作用：
●分担 server 的集中式压力
●解决多机房之间的网络延时问题
agent --> proxy --> server
5.1 配置 zbx-proxy（192.168.147.102）
systemctl disable --now firewalld
setenforce 0
hostnamectl set-hostname zbx-proxy
//设置 zabbix 的下载源，按照 zabbix-proxy
rpm -ivh https://mirrors.aliyun.com/zabbix/zabbix/5.0/rhel/7/x86_64/zabbix-release-5.0-1.el7.noarch.rpm
cd /etc/yum.repos.d
sed -i 's#http://repo.zabbix.com#https://mirrors.aliyun.com/zabbix#' /etc/yum.repos.d/zabbix.repo
yum install -y zabbix-proxy-mysql zabbix-get
//安装 zabbix 所需的数据库
yum install -y mariadb-server mariadb
systemctl enable --now mariadb
mysql_secure_installation #初始化数据库，并设置密码，如 abc123
//添加数据库用户，以及 zabbix 所需的数据库信息
mysql -u root -pabc123
CREATE DATABASE zabbix_proxy character set utf8 collate utf8_bin;
GRANT all ON zabbix_proxy.* TO 'zabbix'@'%' IDENTIFIED BY 'zabbix';
flush privileges;
//导入数据库信息
rpm -ql zabbix-proxy-mysql #查询 sql 文件的位置
zcat /usr/share/doc/zabbix-proxy-mysql-5.0.36/schema.sql.gz | mysql -uroot -pabc123 zabbix_proxy
//修改 zabbix-proxy 配置文件
vim /etc/zabbix/zabbix_proxy.conf
Server=192.168.147.100 #30行，指定 zabbix 服务端的 IP 地址
Hostname=zbx-proxy #49行，指定当前 zabbix 代理服务器的主机名
DBPassword=zabbix #196行，指定当前数据库 zabbix 用户的密码
//启动 zabbix-proxy
systemctl start zabbix-proxy
systemctl enable zabbix-proxy
//在所有主机上配置 hosts 解析
vim /etc/hosts
192.168.147.100 zbx-server
192.168.147.101 zbx-agent
192.168.147.102 zbx-proxy
5.2 在 Web 页面配置 agent 代理
点击左边菜单栏【配置】中的【动作】，勾选自动注册规则，点击 禁用
点击左边菜单栏【配置】中的【主机】，勾选原有的客户端主机，点击 删除
点击左边菜单栏【管理】中的【agent代理程序】，点击【创建代理】
【agent代理程序名称】设置为 zbx-proxy
【系统代理程序模式】选择 主动式
【代理地址】设置为 192.168.147.102
点击 【添加】
5.3 配置 agent 使用 proxy
5.3.1 在客户端修改 agent2 配置文件
vim /etc/zabbix/zabbix_agent2.conf
......
Server=192.168.147.102 #80行，指定 zabbix 代理服务器的 IP 地址
ServerActive=192.168.147.102 #125行，指定 zabbix 代理服务器的 IP 地址
5.3.2 在 Web 页面配置
点击左边菜单栏【配置】中的【主机】，点击【创建主机】
【主机名称】设置成 zbx-agent01
【可见的名称】设置成 zbx-agent01
【群组】选择 Linux server
【Interfaces】的【IP地址】设置成 192.168.10.21
【由agent代理程序监测】选择 zbx-proxy
再点击上方菜单栏【模板】
【Link new tamplates】搜索 Linux ，选择 Template OS Linux by Zabbix agent
点击 【添加】
5.3.3 分别在客户端和代理服务器上重启服务
systemctl restart zabbix-agent2
systemctl restart zabbix-proxy
点击左边菜单栏【配置】中的【主机】刷新，查看客户端主机监控状态正常
在服务端查看日志
tail -f /var/log/zabbix/zabbix_proxy.log
59767:20230813:210628.705 enabling Zabbix agent checks on host "zbx-agent": host became available