在公司搭建系统级别的监控,由于ELK对流量监控存在局限——现有的工具只记录了累计的流量,而无法计算每时每刻的流量。所以决定最后用zabbix来对网络做监控和报警,下面会从零开始记录zabbix搭建过程中的所有步骤,希望可以给你带来帮助。
安装前准备工作
安装必要的软件,禁用SELINUX
,安装必备软件
$ sudo setenforce 0
$ sudo sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
$ sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
$ sudo yum install epel-release.noarch wget vim gcc gcc-c++ lsof chrony tree nmap unzip rsync -y
$ sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
LAMP环境搭建
安装
$ sudo yum install -y httpd mariadb mariadb-server mariadb-client php php-mysql
启动mysql
,设置开机启动,修改mysql
密码,注意下面的yourpassword
要替换为你自己的密码
$ sudo systemctl start mariadb.service
$ sudo systemctl enable mariadb.service #设置开机启动
$ sudo mysqladmin -u root -p password yourpassword
安装zabbix服务
$ sudo rpm -ivh http://repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm
$ sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX
$ sudo yum install -y zabbix-server-mysql zabbix-web-mysql zabbix-get zabbix-agent
创建zabbix数据库
$ mysql -uroot -p
MariaDB [(none)]> CREATE DATABASE zabbix DEFAULT CHARACTER SET utf8 COLLATE utf8_bin;
MariaDB [(none)]> quit
导入数据
$ cd /usr/share/doc/zabbix-server-mysql-3.0.11/
$ zcat create.sql.gz | mysql -uroot -p zabbix
修改zabbix配置
注意:下面的yourpasswd
请替换为你自己的数据库密码
$ sudo vim /etc/zabbix/zabbix_server.conf
DBHost=localhost
DBName=zabbix
DBUser=root
DBPassword=yourpasswd
修改时区
sudo vim /etc/httpd/conf.d/zabbix.conf
php_value date.timezone Asia/Chongqing
修改zabbix登录密码(可选)
-bash-4.2$ mysql -uroot -p
Enter password:
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is 326
Server version: 5.5.56-MariaDB MariaDB Server
Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]> use zabbix
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
MariaDB [zabbix]> select userid, alias, name, passwd from users;
+--------+-------+--------+----------------------------------+
| userid | alias | name | passwd |
+--------+-------+--------+----------------------------------+
| 1 | Admin | Zabbix | 5fce1b3e34b520afeffb37ce08c7cd66 |
| 2 | guest | | d41d8cd98f00b204e9800998ecf8427e |
+--------+-------+--------+----------------------------------+
2 rows in set (0.00 sec)
MariaDB [zabbix]> update users set passwd=md5('newpassword') where userid='1';
Query OK, 1 row affected (0.00 sec)
Rows matched: 1 Changed: 1 Warnings: 0
启动
$ sudo systemctl start httpd
$ sudo systemctl start zabbix-server
$ sudo systemctl start zabbix-agent
设置开机启动
$ sudo systemctl enable httpd
$ sudo systemctl enable zabbix-server
$ sudo systemctl enable zabbix-agent
通过http://hostname/zabbix
访问zabbix的安装页面,填写安装信息,完成安装。完成安装后,初始登录账户密码为Admin/zabbix
。
安装zabbix-agent
zabbix-server
安装好了,下面需要“接入”其他机器,将它们纳入到zabbix-server
的管理,下面是安装步骤
$ sudo rpm -ivh http://repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm
$ sudo yum install -y zabbix-agent
配置zabbix-agent
$ grep -Ev "^$|#" /etc/zabbix/zabbix_agentd.conf
# zabbix-server
Server=192.168.8.4
# 这里选择主动连接zabbix-server的方式
ServerActive=192.168.8.4
# 本机的hostname
Hostname=192.168.8.5
启动zabbix-agent
$ sudo systemctl start zabbix-agent.service
$ sudo systemctl enable zabbix-agent.service
下面在zabbix-server
页面上添加这个机器
按下图填写即可
注意:中间的Agent interfaces是提供给Zabbix Server调用的接口,需确保该ip和port可以访问
接着绑定模板
最后点击Update
,你就可以在Host
目录中看到所有被监控的机器列表
注意:如果zabbix-agent需要被其他机器调用,例如通过zabbix_get
获得监控信息,需要在防火墙设置“放开10050端口”
监控网络流量
假设我们要监控机器192.168.8.5
网卡em1
上的出入口流量,我们可以先在zabbix服务器上用zabbix_get
命令来测试一下,下面代码测试的是输入流量,注意这里的输出是一个累积的流量
$ zabbix_get -s 192.168.8.5 -k net.if.in[em1,bytes]
468127618
监控网络流量的流程为:
-
创建模板
-
创建监控项
创建应用:Configuration->Templates->Create application
创建监控项:Configuration->Templates->network traffic on em1->Items->Create Item
上图是入口流量的监控项设置,出口流量监控项network traffic out em1
可以一样设置,成功后你看到的是
-
创建Triggers
Triggers
是触发报警的设置,同样我们点击Configuration->Templates->network traffic on em1->Triggers->Create trigger
来创建Triggers
注意在设置Expression
时,我们可以利用zabbix
提供给我们的模板
于是,入口流量的触发值就设置好了,每秒流量超过1048576时就会触发报警,同理我们可以设置出口流量的触发值,成功后,我们看到的是
-
创建Graphs
接着,我们再来创建Graphs
,Graphs
可以以图形化的方式展示流量信息,点击Configuration->Templates->network traffic on em1->Graphs->Create graph
,创建Graphs
的最大好处是我们可以把这些Graphs
组合起来形成Screens
监控面板,例如下面这样
下面是创建Graphs
的表单
-
绑定Template
至此,我们模板就创建完毕了,最后一步需要把主机和模板关联起来,点击Configuration->Hosts->Templates->Select
创建关联,然后点击Add
此时,通过Monitoring->Latest data
可以看到网卡上的最新数据,同时可以通过Monitoring->Graphs
来查看图形化的数据
自定义script报警
当系统出现异常时,我们需要立即发现,并通过邮件或App的方式通知给维护的同学,这样整个系统才会掌控在我们手中,Zabbix要做到这一点,需要配置以下3个选项(zabbix虽然很强大,但配置和UI有点繁琐,这是我不喜欢它的地方):
- Media types
- Events
- User Media
Media types
Media types
是当产生事件时,以什么方式进行通知,这里采用的是Script
方式,这种方式的灵活性最大,通过这种方式,我们可以把报警发送到任何支持Webhook
的App上,例如钉钉
Script
这种方式的原理是:我们把可执行的脚本放在zabbix
的指定目录下,当事件发生时,zabbix
会自动调用该脚本,可以在/etc/zabbix/zabbix_server.conf
中找到指定目录的路径
AlertScriptsPath=/usr/lib/zabbix/alertscripts
Media types
设置如下,意思是在/usr/lib/zabbix/alertscripts
下存在一个脚本dingding.py
,当事件发生时,zabbix
会调用该脚本,同时会传入该脚本3个参数,这3个参数分别是事件的接收人、事件的主题、事件的内容
dingding.py
这个脚本如下,我们先实现一个简单的版本,也就是把这3个参数输出到日志中
#!/usr/bin/python
import logging, sys
if __name__ == "__main__":
logger = logging.getLogger()
handler = logging.FileHandler("/var/log/zabbix/dingding_alert.log")
formatter = logging.Formatter('%(asctime)s %(name)-s %(levelname)-s %(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)
logger.setLevel(logging.DEBUG)
if len(sys.argv) == 4:
send_to = sys.argv[1]
subject = sys.argv[2]
content = sys.argv[3]
logger.debug("send_to: %s" % send_to)
logger.debug("subject: %s" % subject)
logger.debug("content: %s" % content)
else:
logger.error("usage: ./dingding.py $send_to $subject $content")
设置脚本的权限
$ sudo chown zabbix.zabbix dingding.py
$ sudo chmod +x dingding.py
Events
事件是当某个条件发生时,zabbix
所创建的报警对象。在zabbix
中,事件发生时和事件恢复时都可以触发事件,下面我们来创建一个事件,
可以看到,这里的事件主题和事件消息都是系统默认生成的,其中包括时间产生时的必要信息,同时我把允许事件恢复时通知(Recovery message)打了勾,
Conditions
标签页的内容保持不变,然后我们再来修改Operations
标签里的内容
这里的意思是:事件的持续时间是1个小时(3600s),每隔2分钟(120s)产生一个事件,一共产生10个事件,产生事件时,发送给
Zabbix administrators
用户组中的Admin
用户,最后事件会使用我们刚刚创建的dingding
这种Media type
User Media
事件和Media type
创建好后,下面还需要把它们和指定用户关联起来,点击Administration->Users->Media->Add
,修改后,点击Update
通过以上步骤,我们已经把
zabbix
的监控和报警建立起来了,并实操创建了网卡的流量监控,现在我们把网络流量的阈值调到小,故意制造一个超出流量的事故,看一下报警是否生效,我们预期是发送10个报警,发送完毕后,我们再把阈值调到正常,看下是否会收到恢复消息。还记得之前写的那个脚本吗,它会把报警内容输出到日志文件中,现在我们检查下日志文件
$ grep subject /var/log/zabbix/dingding_alert.log
2017-10-12 19:01:09,262 root DEBUG subject: PROBLEM: network traffic incoming on em1 > 1M on 192.168.8.5
2017-10-12 19:03:09,373 root DEBUG subject: PROBLEM: network traffic incoming on em1 > 1M on 192.168.8.5
2017-10-12 19:05:09,484 root DEBUG subject: PROBLEM: network traffic incoming on em1 > 1M on 192.168.8.5
2017-10-12 19:07:09,583 root DEBUG subject: PROBLEM: network traffic incoming on em1 > 1M on 192.168.8.5
2017-10-12 19:09:09,696 root DEBUG subject: PROBLEM: network traffic incoming on em1 > 1M on 192.168.8.5
2017-10-12 19:11:09,814 root DEBUG subject: PROBLEM: network traffic incoming on em1 > 1M on 192.168.8.5
2017-10-12 19:13:09,929 root DEBUG subject: PROBLEM: network traffic incoming on em1 > 1M on 192.168.8.5
2017-10-12 19:15:10,040 root DEBUG subject: PROBLEM: network traffic incoming on em1 > 1M on 192.168.8.5
2017-10-12 19:17:10,164 root DEBUG subject: PROBLEM: network traffic incoming on em1 > 1M on 192.168.8.5
2017-10-12 19:19:10,263 root DEBUG subject: PROBLEM: network traffic incoming on em1 > 1M on 192.168.8.5
2017-10-12 19:30:10,477 root DEBUG subject: OK: network traffic incoming on em1 > 1M on 192.168.8.5
很显然,结果符合我们的预期。
以上便是入门zabbix
的全部内容,后面的文章我们会具体实现dingding.py
报警脚本,让你真正的可以在手机上收到报警信息。
参考
- https://enginx.cn/2016/10/18/%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AEzabbix-agent-%E6%B7%BB%E5%8A%A0%E7%9B%91%E6%8E%A7%E7%82%B9.html
- http://732233048.blog.51cto.com/9323668/1639752
- http://www.jianshu.com/p/9daaf8251068
- http://jaminzhang.github.io/monitoring/Zabbix-Custom-Alert-Script/
- http://www.jianshu.com/p/4d98ff87db5f