Smokeping 监控搭建

smokeping简介

smokeping是rrdtool的作者Tobi Oetiker的作品，用Perl语言写的，主要是监视网络性能，所以它在图形显示方面有很大优势，也是一个很有特点的opensource工具：多种探测方式，包括fping、echoping、dig、curl等；监视dns、ssh性能，底层也是rrdtool做支持，特点是画的图非常漂亮，网络丢包和延迟用颜色和阴影来表示，非常直观。同时也可以在多个节点收集同一个监测点的数据；很有特色的alert设置，不只是简单的设置一个阀值。

smokeping架构组件

主要有Rrdtool 、Fping 、 Echoping 、 Curl 、 Dig 、 SSH 、 Perl 模块、SpeedyCGI 、 Apache等

分布式功能

在使用smokeping功能时，从单个节点去探测网络性能是有缺陷的，smokeping提供了多个节点的分布式部署功能，可以从多个节点去探测某个地区网络回调并显示至主服务器，也就是smokeping的主从模式

特点

1. 可视化的网络品质延迟。

2. 交互式的图形浏览。

3. 较多的网络测量插件。

4. 主/从系统分布式测量。

5. 高度可配置的警报系统。

6. 直观的网络延迟图表。

7. 自定义时间刷新图形显示。

缺点：

1. 依赖包、组件过多，安装搭建配置较为繁琐。

2. 图形参数较多，需要查阅相关文档

Alerts API

警报alerts接口可以调用外部程序，可传送5个相关参数：

1. 警报名称 #eg:myloss

2. 地址别名 #eg：Ustack.Publoc-google

3. loss规则 #eg:loss: S, 30%, 40%, 30%, 40%

4. 延迟 #eg:rtt: S, 204ms, 200ms, 200ms, 200ms

5. ip地址 #eg:8.8.8.8

警报触发规则可参考官网说明 http://oss.oetiker.ch/smokeping/doc/smokeping_config.en.html

图形参数说明

1. RTT(Round-Trip Time)

• 普通列表项目它是一个数据报在网络上两点中间往返一次的时间。是影响TCP性能和表征网络运行状况的重要参数。在网络中实时、准确地测量大量TCP设备和系统的RTT参数是网络管的重要环节之一。Smokeping就是这样的自动测试系统，它向目标设备和系统发送各种类型的测试数据包，测量、记录和展示RTT

Median RTT 中间数

• 普通列表项目它是中间数并不是平均值。Smokeping有多种类型的探针，探针在默认的设置下，每300秒向目标设备发送20测探测数据包。假如这20个数据包都返回的话，它就记录下了20个RTT，那么Median RTT就是第十个包的RTT；如果有5个包丢失的话，那么Median RTT就是第八个返回的包的RTT值

Avg RTT 评价值

• 普通列表项目它是每一个测试回合中所有RTT的算术评价值

Avg pkt loss

• 它表示丢包率

Probe:10 ICMP Echo Pings(56 Bytes)every 30s

• 表示：每一个绿色的短横线都是一个测试回合30秒内用ping测试10次。绿色画出的是中间数的位置，一个回合中的其它值都在它附近被以灰度的形式被刻画

Smokeping 搭建

1、yum安装需要的软件包（若无法安装部分软件包，推荐用epel源）
    * yum -y install freetypefreetype-devel fontconfig cairo cairo-devel libart_lgpl libart_lgpl-devel perl perl-Net-Telnet perl-Net-DNSperl-LDAP
    * yum -y install perl-libwww-perl perl-RadiusPerl perl-IO-Socket-SSL perl-Socket6perl-CGI-SpeedyCGI rrdtool-perl
    * yum install perl perl-Net-Telnet perl-Net-DNS perl-LDAP perl-libwww-perl perl-Radiu libxml2-devel libpng-devel pango pango-devel httpd-devel glib
    * yum -y install gcc gcc-c++ 
  
  2、安装rrdtool（绘图）
    * wget http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.4.7.tar.gz
    * tar zxf rrdtool-1.4.7.tar.gz -C /usr/src/ && cd /usr/src/rrdtool-1.4.7
    * ./configure --prefix=/usr/local/rrdtool
    * make && make install (报错：Can't locate ExtUtils/MakeMaker.pm in @INC (@INC contain ..........)
    * yum -y install perl-ExtUtils-MakeMaker 即可解决
  
  3、安装cgilib
    * wget http://down1.chinaunix.net/distfiles/cgilib-0.5.tar.gz
    * tar zxf cgilib-0.5.tar.gz -C /usr/src/ && cd /usr/src/cgilib-0.5 && make && cp libcgi.a /usr/local/lib && cp cgi.h /usr/include/
  
  4、安装fping
    * wget http://fping.sourceforge.net/download/fping.tar.gz 
    * tar zxf fping.tar.gz -C /usr/src/ && cd /usr/src/fping.XX
    * ./configure && make && make install
  
  5、安装echoping
    * wget http://jaist.dl.sourceforge.net/project/echoping/echoping/6.0.0/echoping-6.0.0.tar.gz
    * tar zxf echoping-6.0.0.tar.gz -C /usr/src/ && cd /usr/src/echoping-XXX 
    * ./configure --without-libidn && make && make install 
    * 会有报错：configure: error: Missing popt library  
    * 解决：yum -y install popt-devel 即可
  
  6、安装FCGI
    * wget http://cpan.communilink.net/authors/id/F/FL/FLORA/FCGI-0.74.tar.gz 
    * tar zxf FCGI-0.74.tar.gz -C /usr/src/ && cd /usr/src/FCGI-XXX
    * perl Makefile.PL && make && make install
  
  7、安装mod_fastcgi
    * wget http://www.fastcgi.com/dist/mod_fastcgi-2.4.6.tar.gz
    * tar zxf mod_fastcgi-2.4.6.tar.gz -C /usr/src/ && cd /usr/src/mod_fastcgi.XXX
    * apxs -o mod_fastcgi.so -c *.c && apxs -i -a -n fastcgi .libs/mod_fastcgi.so
  
  8、安装Smokeping （注：会有问题，请看下面解决方案）
    * wget http://oss.oetiker.ch/smokeping/pub/smokeping-2.6.8.tar.gz 
    * tar zxf smokeping-2.6.8.tar.gz -C /usr/src/ && cd /usr/src/smokeping-XXX
    * ./configure --prefix=/usr/local/smokeping  
    * (报错：FCGI failed，CGI::Fast failed,config::Grammar failed ........)
    * ./setup/build-perl-modules.sh /usr/local/smokeping/thirdparty （时间有些长,安装完即可）
    * ./configure --prefix=/usr/local/smokeping 
    * /usr/bin/gmake install

---

文件创建及授权

• cd /usr/local/smokeping/

• mkdir cache data var

• chown –R apache.apache cache data var 

• cd /usr/local/smokeping/htdocs/

• cp smokeping.fcgi.dist smokeping.fcgi

• cd /usr/local/smokeping/etc/

• cp config.dist config

• chmod 600 /usr/local/smokeping/etc/smokeping_secrets.dist

• chown apache.root /usr/local/smokeping/etc/smokeping_secrets.dist #slave 需要用到次文件，权限需分明

• ln -s /usr/local/smokeping/cache /usr/local/smokeping/htdocs/cache

---

• vim /usr/local/smokeping/etc/config

• 找到binary = /usr/sbin/fping ——— binary = /usr/local/sbin/fping

• vi /usr/local/smokeping/bin/smokeping

• 找到：use lib qw(); ———— use lib qw(/usr/local/rrdtool/lib/perl);

config文件配置（主要部分）

* Alerts *

#to = XXX

to = |/home/chenjiayun/alerts.sh # 调用外部脚本 （传参上面已介绍，脚本见文章末尾）

from = XXX

+someloss

type = loss

pattern = >0%,*12*,>0%,*12*,>0% #loss的rule

comment = loss 3 times in a row

+myloss

type = loss

pattern = >50%,*10*,>50%,*10*,>50% #loss的rule

comment = loss 4 packages in 10 continuous 3times.

* Slaves *

secrets=/usr/local/smokeping/etc/smokeping_secrets.dist

+LG # slave 主机

display_name=LG

color=7fff00

+ZHSH #slave 主机 可以有多个

display_name=ZHSH

color=9400d3

---

* Targets *

remark = Welcome to the SmokePing website of Unitedstack Company. Here you will learn all about the latency of our network.

slaves = LG ZHSH #添加slave

+ Ustack

menu= Network Stastic

title= All Links

++ China_Netcom

menu = China Unicom

title = China Unicom Status

+++ Beijing

menu = (UNI)Beijing

title =Beijing-DNS

alerts = myloss,myloss2 #添加规则，可触发警报

host = 210.73.64.1

等等

##################全国网络绘图###################

+ National_Network

menu = National Overview

title = National Overview

host = /Ustack/China_Netcom/Beijing /Ustack/China_Netcom/Shanghai /Ustack/China_Netcom/GuangZhou /Ustack/China_Netcom/ChengDu…..

+ National_Network1

menu = National Overview(LG)

title = National Overview(LG)

host = /Ustack/China_Netcom/Beijing~LG /Ustack/China_Netcom/Shanghai~LG /Ustack/China_Netcom/GuangZhou~LG /Ustack/China_Netcom/ChengDu~LG…

Apache的配置

vim /etc/httpd/conf/httpd.cof
添加
Alias /smokeping “/usr/local/smokeping/htdocs/smokeping.fcgi”
Alias /cache “/usr/local/smokeping/cache”
Alias /cropper “/usr/local/smokeping/htdocs/cropper/”

AllowOverride None
      Options ExecCGI
      AddHandler cgi-script .fcgi .cgi
      Order allow,deny
      Allow from all
      DirectoryIndex smokeping.fcgi

slave 主机

• slave搭建与master一致

• slave不需要配置

• 唯一需要配置的是 smokeping_secrets.dist文件（保存的是密码，主服务器上保存的是用户名及密码，密码与之对应，客户端启动需要用户名）

• 启动： 若启动出错，可以–debug-daemon –logfile=file.txt 分析 

• 客户端启动需要连接master的URL，确保公网可以访问

服务启动

1. Apache启动

• service httpd restart

smokeping master 启动

• /usr/local/smokeping/bin/smokeping –logfile=/var/log/smokeping.log >/dev/null 2>&1 （–debug-daemon）

smokeping slave 启动

• /usr/local/smokeping/bin/smokeping –master-url=http://ping.monitor.ustack.com –cache-dir=/usr/local/smokeping/cache –shared-secret=/usr/local/smokeping/etc/smokeping_secrets.dist –slave-name=LG –logfile=/var/log/smokeping.log >/dev/null 2>&1

• 注：–slave-name 在master的smokeping_secrets.dist中存在密码，与客户端smokeping_secrets.dist密码一致

报警邮件脚本

#!/bin/bash
#this is a alerts script
#v1.0
date=`date +%Y%m%d-%R`
mail_log=“/usr/local/smokeping/var/alertmail_log_$date”
mail_name=“xxx”
echo “=====================$date=========================” > $mail_log
echo $1  $mail_log #myloss(name)
echo $2  $mail_log #Ustack.China_Netcom.ShenYang [from LG]
echo $3  $mail_log #loss: 100%, 100%, 100%, 100%
echo $4  $mail_log #rtt: U, U, U, U, U, U, U
echo $5  $mail_log #202.96.75.68
loss=$3
avg=`echo $loss |tr -d 'a-z:,%' | sed 's/^\s*g' |awk -F' ' '{for (i=1;iNF;++i){sum+=$i;} print “agv:” su m / NF “%”}'` echo $avg  $mail_log title=`echo $2|sed 's/ g'`
echo $title  $mail_log
if [ -s $mail_log ];then # -n
      /usr/bin/python /home/chenjiayun/Myalerts.py $1 [SmokepingAlerts]$title  $title $avg  $5
fi 
#########################python mail api###########################
#!/usr/bin/env python
#this is a alerts script
import sys
import requests
import json
to = “devops”
name = sys.argv[1]
title = sys.argv[2]
subject = “City_name: ”+sys.argv[3]
loss = sys.argv[4]
addr = sys.argv[5]
alert_priority = 3
if name == “someloss”:
      alert_priority=3
elif name == “rttdetect” or title == “rttdetect2”:
      alert_priority=2
elif name == “myloss2” or title == “myloss”:
      alert_priority=1
#all = subject+“\n”+loss+“\n”+rtt+“\n”+addr
all = “%s Average loss: %s Ip is: %s ” %(title,loss,addr)
content = {
      "alert_title": title,
      "alert_tag": "smokeping_server",
      "alert_priority": alert_priority,
      "alert_content": all,
      "alert_group": to
}
if name == “main”:
  url = 'http://alerting.ustack.com:8080/v1/alerts'
  headers = {'content-type': 'application/json'}
  r = requests.post(url, data=json.dumps(content), headers=headers)

Master 服务启动代码

#!/bin/bash
#jiayun
. /etc/init.d/functions
# Start the service Smokeping
start() {
echo -n “Starting Smokeping: ”
/usr/local/smokeping/bin/smokeping –logfile=/var/log/smokeping.log >/dev/null 2>&1
### Create the lock file ###
touch /var/lock/subsys/smokeping
success $“Smokeping startup”
echo
}
# Restart the service Smokeping
stop() {
echo -n “Stopping Smokeping: ”
kill -9 `ps ax | grep “/usr/local/smokeping/bin/smokeping” | grep -v grep | awk '{ print $1 }'` >/dev/null
2>&1
### Now, delete the lock file ###
rm -f /var/lock/subsys/smokeping
success $“Smokeping shutdown”
echo
}
### main logic ###
case “$1” in
start)
start
;;
stop)
stop
;;
status)
status Smokeping
;;
restart|reload|condrestart)
stop
start
;;
*)
echo $“Usage: $0 {start|stop|restart|reload|status}”
exit 1
esac
exit 0

Slave 服务启动代码

#!/bin/bash
# smokeping reboot file
# chenjiayun
. /etc/init.d/functions
# Start the service Smokeping
start() {
echo -n “Starting Smokeping: ”
/usr/local/smokeping/bin/smokeping –master-url=http://ping.monitor.ustack.com –cache-dir=/usr/local/smokeping/cache –shared-secret=/usr/local/smokeping/etc/smokeping_secrets.dist –slave-name=ZHSH –logfile=/var/log/smokeping.log >/dev/null 2>&1
### Create the lock file ###
touch /var/lock/subsys/smokeping
success $“Smokeping startup”
echo
}
# Restart the service Smokeping
stop() {
echo -n “Stopping Smokeping: ”
kill -9 `ps ax | grep “/usr/local/smokeping/bin/smokeping” | grep -v grep | awk '
{ print $1 }'` >/dev/null 2>&1
### Now, delete the lock file ###
rm -f /var/lock/subsys/smokeping
success $“Smokeping shutdown”
echo
}
### main logic ###
case “$1” in
start)
start
;;
stop)
stop
;;
status)
status Smokeping
;;
restart|reload|condrestart)
stop
start
;;
*)
echo $“Usage: $0 {start|stop|restart|reload|status}”
exit 1
esac
exit 0

效果图如下：

图2：