zabbix稳定性技术方案
zabbix 介绍
公司的主机和应用监控目前采用zabbix进行数据采集、告警。
访问地址：
目前开启匿名访问，可以使用查看基础数据，如需编辑请至负责人赵红金申请开通管理员权限（仅对运维开放）。
项目规范
1、告警级别
| 告警级别 |
描述 |
业务影响 |
适用场景 |
| Disaster |
灾难 |
有 |
业务受到影响或者业务不可用，比如业务核心指标下跌告警，需要立即处理 |
| High |
高危 |
有 |
系统、服务、业务可能受到影响，比如DB切换、Redis/MQ宕机、App Down，需要立即处理 |
| Warning |
警告 |
无 |
当前系统、服务、业务没有受到影响，但需要跟踪关注处理，继续恶化会触发High级别告警 |
2、告警通知信息
告警来源，告警发送源
告警对象，告警主机
告警指标，具体监控项或触发器名
告警信息，告警提示信息
告警时值，告警时的具体值
告警时间，告警产生时间
告警级别，Warning、High、Disaster
告警分类，告警对应的类别
3、告警分类
对于告警主要划分为三类，“系统基础告警”、“应用服务告警”，”业务指标告警“。
3.1、系统基础告警，主要为阿里云基础设备和网络，ECS 主机CPU，内存、硬盘，SLB ，CDN，OSS等。产生的告警。
3.2、应用服务告警，主要为各应用程序本身及提供的接口服务等各方面性能产生的告警，包括APP，kafka,mq,redis,pg等。
3.3、业务指标告警，是指业务方面的各项指标，比如，订单，登录，开关锁，失联等。
4、角色职责
软件研发，各个团队各自负责对应应用程序服务的稳定性、可用性及性能优化。以及业务告警相关的故障处理。
运维团队，统筹接收所有警告消息，noc对较高级别的告警进行跟进推动，必要时可向直接应用负责人电话通知，确保重大事件在第一时间由相关团队介入处理。
Leader,各团队Leader会接收到各自团队所接收的报警中的危急级别的告警,重点告警推送，让leader清晰了解当前告警程度及影响，便于对故障做想应处理。
5、告警通知人
系统基础告警：会通知些ECS在CMDB里的相关负责人，如果相关负责人为空，则通知第一负责人。
应用服务告警：会通知些ECS在CMDB里的相关负责人，如果相关负责人为空，则通知第一负责人。
(但以应用服务告警里有很多告警是发给应用负责人的。比如告警以APP开头、以Rabbitmq开头、以Aliyun、以SLB等，具体可以问查询Alerts发送告警规则。)
业务指标告警：些类告警，由业务指标告警设置人自定义告警通知人。
项目框架
项目部署
| ECS_name |
ENV |
Mark |
|
| pro |
zabbix 监控定时脚本 |
||
| pro |
zabbix jolokia 查询JMX参数 |
||
| pro |
pro zabbix httpd zabbix-server |
||
| pro |
pro zabbix mysqld |
||
| pro |
pro zabbix ES |
||
| pro |
pro zabbix ES |
||
| pro |
pro zabbix ES |
||
| pro |
pro zabbix ES mast |
SLB_ZabbixDataElasticsearch-inner..XXX.cn |
|
| pro |
pro zabbix ES mast |
SLB_ZabbixDataElasticsearch-inner..XXX.cn |
|
| pro |
pro zabbix ES mast |
SLB_ZabbixDataElasticsearch-inner.XXX.cn |
|
| pro |
pro zabbix ES |
||
| pro |
pro zabbix ES |
||
| pro |
pro zabbix ES |
||
| dev |
dev环境 zabbix server mysql |
||
| dev |
dev zabbix ES |
核心链路依赖关系
容量水位
zabbix ES 数据读写速度
zabbix ES 所有节点CPU、内存、磁盘容量水位
zabbix mysql CPU、内存、磁盘容量水位
监控地址：
zabbix server 服务器 CPU、内存、磁盘容量水位
监控地址：
线上问题处理SOP
1、发现zabbix 数据同步进程停止，停止数据写入ES。
2、关闭ES两天前的索引，减少zabbix-server重启后的同步数据压力。
3、重启zabbix-server恢复数据。
稳定性的机制
1、对grafana面板进行优化，防止部分面板数据请求量太大，对zabbix数据请求量突然增加，影响zabbix数据同步进程。