防伪码:真理不需色彩,美丽不需涂饰

一、监控概述:

·初级:

·1.识别监控对象         (分级)

·2.理解监控对象  (理论基础)

·3.细分监控对象的指标

·4.确定告警的基准线        

 

·预中级:

1. 工具化和监控分离

2. 监控对象的分类:

2.1 硬件监控 (方法:机房巡检、IPMI、SNMP简单网络管理协议、)

2.2 系统监控  (对象:cpu、内存、IO【磁盘、网络】)

2.3 服务监控  (对象:分类服务)

2.4 日志监控           (方法:Elastic Stack)

2.5 网络监控   (方法: 第三方、Smokeping)

2.6  APM应用性能管理   (工具:pinpoint APM)

2.7 流量监控                (工具:Piwik、xx统计、xx分析)

2.8 其他监控 (APP监控、安全监控、业务监控、舆论监控、xx监控等)

3. 掌握一个监控工具。例如:zabbix

 

·中级:

0.标准化监控(标准化的脚本、模板、....)

1. 分布式监控                (主动、被动、分布式)

2. 自动化监控                (自动发现、主动注册【Agent主动注册、Server主动添加(API)】)

3. 性能优化                (数据采集、数据存储、数据查询)

4. 二次开发                (定制报表、API调用、)

         

·进阶:(精通到放弃)

1. 告警阈值动态化

2. 智能告警:【1.告警去重 2.依赖】

3. 故障自愈        (事件驱动、主动控制)

4. 大规模告警          

 

硬件监控:

1. 机房巡检

2. 通过网络来巡检

 

例如:DELL  通过iDRAC口监控

  HP    通过ILO

  IBM   通过IMM

 

由于每个厂商不一样可以通过IPMI协议来统一管理。

IPMI简介:

Zibbix3.0安装详解_第1张图片Ipmitool是一种可用在linux系统下的命令行方式的ipmi平台管理工具,它支持ipmi 1.5规范(最新的规范为ipmi2.0),通过它可以实现获取传感器的信息、显示系统日志内容、网络远程开关机等功能。

Ipmitool有两种使用方式:

wKiom1jGgvKR7eNiAAAhH9D4YfA706.jpg-wh_50

Zibbix3.0安装详解_第2张图片

安装IPMI


Zabbix自带IPMI

 yum install OpenIPMI ipmitool
 systemctl start ipmi


安装ipmitool管理工具:

Zibbix3.0安装详解_第3张图片

详细安装配置请参考网站:

https://www.ibm.com/developerworks/cn/linux/l-ipmi/index.html

建议通过以上IPMI网址安装配置。

 

通过SNMP来管理:

基于SNMP监控

安装略

使用方法

查看cpu负载

snmpget -v2c -c admin 192.168.56.11 .1.3.6.1.4.1.2021.10.1.3.1
UCD-SNMP-MIB::laLoad.1 = STRING: 0.00
snmpwalk -v2c -c admin 192.168.56.11 .1.3.6.1.4.1.2021.10.1.3
UCD-SNMP-MIB::laLoad.1 = STRING: 0.00
UCD-SNMP-MIB::laLoad.2 = STRING: 0.01
UCD-SNMP-MIB::laLoad.3 = STRING: 0.05


 

监控宝 SNMP安装:(环境CentOS 7 )

1.  CentOS  SNMP安装:

安装net-snmp

yum install net-snmp net-snmp-devel net-snmp-utils


说明:net-snmp-devel是为了使用net-snmp-config, net-snmp-utils是为了使用snmpwalk。

配置 Net-SNMP

CentOS下的net-snmp无法在selinux环境下正常使用v3。 如果您想使用snmp v3,请先禁用selinux。

net-snmp-config --create-snmpv3-user -ro -A snmp@jiankongbao -a MD5 jiankongbao

 

以上命令,创建一个snmpv3用户,只读,使用MD5,用户名为jiankongbao,密码为snmp@jiankongbao。

注意:运行之前请先停用net-snmp服务。

停止snmpd服务

 service snmpd stop


运行Net-SNMP

运行 Net-SNMP 服务的方法比较简单,不过Net-SNMP服务的名字是snmpd

service snmpd start


加入开机自启动运行服务列表:

chkconfig snmpd on



检测 Net-SNMP

可以使用 snmpwalk 来检测snmp服务是否正常开启。

snmpwalk -v 3 -u jiankongbao -a MD5 -A "snmp@jiankongbao" -l authNoPriv 127.0.0.1 sysDescr


如果一切正常,就会返回正常结果。

配置 防火墙

Net-SNMP 使用 udp 协议,161端口。

可以实现对mysql监控、Apache监控、Lighttpd监控、Nginx监控等等。

例如:

mysql监控:

先创建mysql的权限,需要在被监控的mysql服务器上为监控宝创建一个专用的mysql用户,这样做的好处是:

与您的其它MySQL用户进行有效隔离,独立管理。

对该用户进行受限管理,不需要给予任何MySQL权限。

指定监控宝的访问IP地址,阻止其它非法访问。

操作非常简单,在MySQL中操作如下:

CREATE USER 'jiankongbao'@'60.195.252.106' IDENTIFIED BY  'your_password';
CREATE USER 'jiankongbao'@'60.195.252.108' IDENTIFIED BY  'your_password';
# CREATE USER 'jiankongbao'@'60.195.249.83'  IDENTIFIED BY  'your_password';


注意:防火墙安全。在MySQL或者防火墙中指定授权IP地址的时候,请只开放我们指定的IP地址,而不要直接开放整个C类网段,比如60.195.252.0/24,因为该网段中其它服务器不在我们的可控范围内。

 

Apache 监控:

需要开启status模块,修改httpd.conf文件。

添加如下:

ExtendedStatus On

  SetHandler server-status
  Order deny,allow
  Deny from all
  Allow from 60.195.252.106 60.195.252.108 
  # Allow from 60.195.249.83


 

也可以设置受限访问设置:在配置文件中,修改一行。

 

Lighttpd 监控

Lighttpd的状态监控依赖于mod_status模块,幸运的是,Lighttpd缺省已经内置了mod_status模块,我们要做的就是打开配置文件lighttpd.conf,开启这个模块,也就是删除模块前边的“#”注释符,比如:

server.modules              = (
#                               "mod_rewrite",
#                               "mod_redirect",
#                               "mod_alias",
                                "mod_access",
#                               "mod_trigger_b4_dl",
#                               "mod_auth",
                               "mod_status",
                               "mod_fastcgi",
                                "mod_accesslog" )


然后,在lighttpd.conf中找到以下部分:

 

#### status module
status.status-url          = "/server-status"


默认情况下以上语句是被注释的,同样,删掉注释符,保存配置文件,重启lighttpd。

 

Nginx监控:

默认情况下不包含状态stub_status,所以编译时添加参数,然后再nginx.conf中开启状态页面。

 

Windows SNMP安装:

http://blog.jiankongbao.com/?p=185

 

详细请参考

http://wiki.jiankongbao.com/doku.php/%E6%96%87%E6%A1%A3:%E5%AE%89%E5%85%A8%E6%8C%87%E5%BC%95

 

系统监控:

CPU:

进程:每一个进程,至少有一个线程。

      每个进程可以有多个线程。

(单CPU单核),进程的内存空间是共享的,每个线程可以使用这些共享。提供协调   机制,防止进程之间和线程之间产生冲突,另一方面允许进程之间和线程之间共享资源。

 

在linux系统中用top命令查看到用户态和内核态,为什么会有用户态和内核态?

0为内核态

3为用户态

 

CPU监控指标:中断/使用率/cpu负载/上下文切换/僵死进程的监控、最大进程的运行                                        数量、

Top uptime vmstat mpstat  lscpu

CPU负载:单位时间内运行队列中就绪等待的进程数平均值。

内存:

虚拟内存(linux管理的是虚拟内存)、swap、物理内存,linux管理虚拟内存

内存是分页的,内存页默认每页是4K

Free –m查看内存时,剩余内存需要查看available列

   

     total        used        free      shared  buff/cache   available
Mem:        977         102         514           6         360         714
Swap:          2047           0        2047


 

优化内存

echo  "0" > /proc/sys/vm/swappiness
cat /sys/block/sda/queue/scheduler


IO:

Iftop  -n 不解析域名  -i  指定网卡名 –P 显示端口名

iftop -i eth0 -F 
192.168.56.0/24


 

Nethogs

Iotop  

 

负载均衡器一定要监控tcp状态

 

 

以下是链接以及工具

http://www.ruanyifeng.com/blog/2013/04/processes_and_threads.html
http://os.51cto.com/art/201012/240476.htm
http://www.cnblogs.com/cutepig/p/3403711.html 
http://elf8848.iteye.com/blog/2089055
yum  -y  install nethogs
yum –y install iotop
yum –y install iftop
yum –y install sysstat


网络监控:

检测工具:

http://ping.chinaz.com/ 

开源工具:SmokePing        支持分布式

 

zabbix部署

 

1. 什么是zabbix

Zabbix是一个分布式开源的监控系统,支持多种采集方法,使它几乎可以采集和处理所有类型的监控数据;灵活的报警机制,可以实现各种的自定义报警策略,强大的拓展性,可以自定义监控项、图形、模板,还支持自动注册和自动发现,使它可以快速构建一套大型的监控系统,还有丰富的API接口。

其他监控系统cacti、nagios、MangeEngine_ApplicationsManager,lepus,smokeping,piwiki等选zabbix的理由:简单、高效、灵活

安装zabbix前需准备环境:

时间同步:

yum -y install ntpdate


设置计划任务:crontab -e

echo '* * * * * /usr/sbin/ntpdate ntp1.aliyun.com &>/dev/null' >>/var/spool/cron/root


查看计划任务:

crontab  -l

1. 设置主机名解析

cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.152.142        zabbix-server


2.安装 EPEL 仓库和常用命令

rpm -ivh 
http://mirrors.aliyun.com/epel/epel-release-latest-7.noarch.rpm
yum install -y net-tools vim lrzsz tree screen lsof tcpdump


 

注意:如果epel源不能使用,请自行切换其他yum源,本次安装zabbix-server不需要网络,但是,由于选择的是基础环境安装,需要安装的工具包。
5.更新系统并重启

yum update -y && reboot


安装部署zabbix 3.0 LTS

Zabbix 3.0的安装

软件版本要求:

http 1.3.12

Php 5.4.0(不支持php7.0)

Mysql 5.0.3

Zabbix 3.0版本不支持php v7版本。入选用php v7 选择使用zabbix 3.2

安装YUM源。

[root@localhost Desktop]# rpm -ivh http://mirrors.aliyun.com/zabbix/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm


在/etc/yum.repo下形成一个zabbix.repo文件

[root@localhost ~]# ll /etc/yum.repos.d/
total 40
-rw-r--r--. 1 root root 1664 Nov 30 02:12 CentOS-Base.repo
-rw-r--r--. 1 root root 1309 Nov 30 02:12 CentOS-CR.repo
-rw-r--r--. 1 root root  649 Nov 30 02:12 CentOS-Debuginfo.repo
-rw-r--r--. 1 root root  314 Nov 30 02:12 CentOS-fasttrack.repo
-rw-r--r--. 1 root root  630 Nov 30 02:12 CentOS-Media.repo
-rw-r--r--. 1 root root 1331 Nov 30 02:12 CentOS-Sources.repo
-rw-r--r--. 1 root root 2893 Nov 30 02:12 CentOS-Vault.repo
-rw-r--r--. 1 root root  957 Dec 28 01:37 epel.repo
-rw-r--r--. 1 root root 1056 Dec 28 01:37 epel-testing.repo
-rw-r--r--. 1 root root  401 Feb 15  2016 zabbix.repo

打开zabbix.repo文件yum源是指向国外的官网的,为了访问方便,建议把yum源地址改为阿里云的源

修改yum源指向阿里源:

baseurl=http://mirrors.aliyun.com/zabbix/zabbix/3.0/rhel/7/$basearch/ 
baseurl=http://mirrors.aliyun.com/zabbix/non-supported/rhel/7/$basearch/


查看zabbix安装包:

yum list | grep zabbix

Zibbix3.0安装详解_第4张图片

安装zabbix包

yum -y install zabbix-server-mysql zabbix-web-mysql


安装数据库:

yum -y install mariadb mariadb-server


启动mariadb服务并设置开机自启动。

systemctl enable mariadb.service 
systemctl start mariadb.service

要想使用补全命令可以安装epel源的包。

yum install bash-comp* -y

初始化数据库:

mysql_secure_installation

设置数据库密码:

mysqladmin -u root password

进入数据库:

mysql -uroot -p

创建数据库,并设置字符集为Utf-8

create database zabbix character set utf8 collate utf8_bin;

授权数据库:

grant all privileges on zabbix.* to zabbix@'localhost' identified by '123.Com';

打开导入数据库并验证zabbix数据库:

zcat /usr/share/doc/zabbix-server-mysql-3.0.8/create.sql.gz|mysql -uzabbix -p123.Com zabbix

注意:zcat是一个查看命令。

设置web界面:

vim /etc/httpd/conf/httpd.conf

更改ServerName

启动web服务:

systemctl  restart  httpd.service
systemctl  enable  httpd.service

配置zabbix-server,设置配置文件中添加密码:

vim /etc/zabbix/zabbix_server.conf

启动zabbix-server服务:

systemctl start zabbix-server.service

注意:

Zabbix端口号10051

Zabbix的web配置文件默认安装再/etc/httpd/conf.d/

连接php的配置文件默认安装再/etc/httpd/conf.d/

关闭NetworkManager和防火墙:

systemctl disable firewalld
systemctl disable NetworkManager

4. 关闭并确认 SELinux 处于关闭状态

vim /etc/sysconfig/selinuxSELINUX=disabled #修改为 disable
setenforce 0
getenforce

注意:不注意防火墙或者NetworkManager和selinux会导致zabbix启动了却web界面里还是显示zabbix 未启动。

进入web界面安装zabbix

输入http://zabbix服务器地址/zabbix/setup.php进入,根据向导安装。更改时区

修改/etc/httpd/conf.d/zabbix.conf中的一行:

 php_value date.timezone Asia/Shanghai把这一行的注释去掉地点改为上海。

Asia/Shanghai

更改完毕后,重启httpd.service服务。

这是安装zabbix的向导安装的第一步:

Zibbix3.0安装详解_第5张图片

这是安装zabbix的向导安装的第二步

可以看到时间地点已经更改成功了!

Zibbix3.0安装详解_第6张图片

下一步设置连接数据库的用户密码等:

Zibbix3.0安装详解_第7张图片

下一步设置命名:

Zibbix3.0安装详解_第8张图片

下一步:

Zibbix3.0安装详解_第9张图片

安装zabbix:

Zibbix3.0安装详解_第10张图片

输入用户密码,进入zabbix界面。

默认的用户:Admin   密码:zabbix

Zibbix3.0安装详解_第11张图片

进入了zabbix的界面:

Zibbix3.0安装详解_第12张图片

由于只安装了zabbix,并没有配置zabbix配置

修改zabbix配置文件:

vim /etc/zabbix/zabbix_server.conf

修改配置文件中的DBPassword=这一行并把注释去掉!

重启zabbix-server服务并设置开机自启动

Zibbix3.0安装详解_第13张图片

下面再看一下zabbix界面NO变成了YES.

Zibbix3.0安装详解_第14张图片

显示zabbix已经正常启动!

如果zabbix到达瓶颈可以进行拆分。

/etc/zabbix/web/zabbix.conf.ph在这个文件中配置拆分。

要想让zabbix监控自己,需要安装一个zabbix-agent 可以监控自己本身。依赖openssl

修改zabbix-agent配置文件

vim  /etc/zabbix/zabbix_agentd.conf

可以配置主动和被动

启动zabbix-agent服务:

systemctl start zabbix-agent

可以看到如下zabbix server主机hosts

Zibbix3.0安装详解_第15张图片

点击红色位置启用zabbix server

Zibbix3.0安装详解_第16张图片

看到已启动!

Zabbix主动模式和被动模式:

理论:

 

被动模式流程,被动模式一定要记得设置Server = ServerIP

被动模式工作流程:

Server 打开一个TCP连接

Server发送一个key 为agent.ping

Agent接受这个请求,然后响应< HEADER >< DATALEN >

Server对接受到的数据进行处理

TCP连接关闭

 

主动模式流程:主动模式一定要记得设置ServerActive=ServerIP

Agent向Server建立一个TCP连接

Agent请求需要检测的数据列表

Server响应Agent,发送一个Items列表

Agent允许响应

TCP连接完成本次会话关闭

Agent开始周期性地收集数据

 

安装第二台agent:

安装agent服务:

rpm -ivh zabbix-agent-3.0.5-1.el7.x86_64.rpm

启动并设置开机自启

systemctl start zabbix-agent.service

systemctl enable zabbix-agent.service

Zabbix添加监控主机:

在configuration中选择hosts:

Zibbix3.0安装详解_第17张图片

如果Groups没有可以NEW一个,然后ip地址填写agent的ip,添加完毕后不要add,

还需要添加Templates模板之后再按add(在这里选择Template OS Linux模板)

截图如下:

Zibbix3.0安装详解_第18张图片

可以看见host主机添加成功:

Zibbix3.0安装详解_第19张图片

发现添加的主机ZBX为红色,报错如下:

Received empty response from Zabbix Agent at [192.168.0.106]. Assuming that agent dropped connection because of access permissions.

Zibbix3.0安装详解_第20张图片

解决办法:修改agent的配置文件:

vim /etc/zabbix/zabbix_agentd.conf

修改为Server=(zabbix server的ip地址)

Server=192.168.152.142

重启zabbix-agent服务:

systemctl restart zabbix-agent.service

可以看到如下图红色变为了绿色,问题解决了!

Zibbix3.0安装详解_第21张图片

使用zabbix-get:

安装zabbix-get服务:

yum install -y zabbix-get

测试方法:

例如:

zabbix_get -s linux-node2.example.com -k agent.ping

只能取zabbix  agent类型

查看本机有多少内置key

zabbix_agentd -p

zabbix网址:

Zibbix3.0安装详解_第22张图片