Ganglia3.1.7安装与配置

一、所需要软件

二、安装过程

    1、Ganglia运行平台的安装

    2、Ganglia依赖库的安装

    3、RRDTool的安装

    4、Ganglia的安装 (包括使用yum方式安装)

三、简单配置

四、启动与访问

五、被监控节点上安装Ganglia (包括使用yum方式安装)

六、遇到的问题，及解决办法 

 

流行的开源服务器集群监控工具有很多，例如Nagios、Cacti、Ganglia、Zenoss、Clumon，它们在底层都利用了RRDTool。国内最常用的就是Cacti+Nagios，但是Ganglia其实也很不错，Ganglia+Nagios的组合也很强大。

Ganglia是一个可伸缩的监控系统，尤其适合用来监计算机集群、网格等。Ganglia监控系统的组成部分包括：两个独立的daemon，一个基于PHP的web前端，和一些其它的应用程序。

gmond（Ganglia Monitoring Daemon）：运行于节点上的daemon

gmetad（Ganglia Meta Daemon）：服务器端的daemon

Ganglia PHP Web Frontend：基于PHP的web前端

 

Ganglia官网：http://ganglia.info/

Ganglia Wiki：http://sourceforge.net/apps/trac/ganglia

 

一、所需软件：

平台： linux+apache+php 

依赖库：

apr-devel

apr-util

check-devel

cairo-devel

pango-devel

libxml2-devel

rpmbuild

glib2-devel

dbus-devel

freetype-devel

fontconfig-devel

gcc-c++

expat-devel

python-devel

libXrender-devel

libconfuse（它无法通过yum安装）

pcre（无法通过yum安装）

 

RRDTool： rrdtool-1.4.5.tar.gz 

Ganglia：ganglia-3.1.7.tar.gz

 

二、安装过程

参考了Ganglia Wiki上的安装配置文档，以及IBM网站上《Ganglia 和 Nagios》： 

1）apache+php的安装：大略如下：

apache：

wget http://labs.renren.com/apache-mirror//httpd/httpd-2.2.19.tar.gz
tar -zxvf httpd-2.2.19.tar.gz
cd httpd-2.2.19
./configure --prefix=/usr/local/apache2 --enable-so --enable-mods-shared=most
make && make install

/usr/local/apache2/bin/apachectl start

http://192.168.9.45，访问成功！ 

php：

准备手动编译安装，但是在下载gd库时出错，没有下载到，索性使用yum安装

yum -y install zlib libpng jpeg freetype2 libxml2 gdphp-mbstring
yum -y install php

apache对php的支持：

在使用yum安装PHP时，已经默认在httpd的配置目录下创建了conf.d目录及相关文件，我们不需要进行任何的操作。直接启动httpd，然后测试php是否安装成功。

 

若是源码安装PHP，使apache支持php需要如下的两步操作：

首先，拷贝libphp5.so 到apache的module目录下：

cp /usr/lib64/httpd/modules/libphp5.so /usr/local/apache2/modules/

然后，vi /usr/local/apache2/conf/httpd.conf，添加：

<FilesMatch \.php$>
    SetHandler application/x-httpd-php
</FilesMatch>
<FilesMatch "\.ph(p[2-6]?|tml)$">
    SetHandler application/x-httpd-php
</FilesMatch>
<FilesMatch "\.phps$">
    SetHandler application/x-httpd-php-source
</FilesMatch>

LoadModule php5_module modules/libphp5.so

<IfModule dir_module>
   DirectoryIndex index.html index.php
</IfModules>

重启apache，测试PHP是否安装成功：

vi /usr/local/apache2/htdocs/index.php，添加：

<?
phpinfo();
?>

访问：http://192.168.9.45/index.php，访问成功！ 

2）依赖库的安装：

yum -y install apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpmbuild glib2-devel dbus-devel freetype-devel fontconfig-devel gcc-c++ expat-devel python-devel libXrender-devel

3）libconfuse的安装（自己使用google搜索下载地址）：

wget http://savannah.nongnu.org/download/confuse/confuse-2.7.tar.gz
tar -zxvf confuse-2.7.tar.gz
cd confuse-2.7
./configure CFLAGS=-fPIC --disable-nls
make && make install

调整lib库的位置：

vi /etc/ld.so.conf.d/libconfuse.conf，添加：/usr/local/lib，然后/sbin/ldconfig -v 

4) pcre安装：

pcre是perl 兼容的正规表达式库，在使用正则匹配时会很用。不安装的话，ganglia安装时会报错： libpcre not found, specify --with-libpcre=no to build without PCRE support。

wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.12.tar.bz2
tar -jxvf pcre-8.12.tar.bz2
cd pcre-8.12
./configure && make && make install

调整lib库的位置：

vi /etc/ld.so.conf.d/libpcre.conf，添加：/usr/local/lib，然后/sbin/ldconfig -v

5）RRDTool的安装：

wget http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.4.5.tar.gz
tar -zxvf rrdtool-1.4.5.tar.gz
cd rrdtool-1.4.5
./configure --prefix=/usr/local
make && make install

调整lib库的位置：

vi /etc/ld.so.conf.d/librrd.conf，添加：/usr/local/lib，然后/sbin/ldconfig -v 

6）Ganglia的安装：

要注意的是，Ganglia在安装时默认不安装gmetad，所以需要在configure时指定：--with-gmetad，还需要指定RRDTool库的路径：--with-librrd=… !

wget http://sourceforge.net/projects/ganglia/files/ganglia%20monitoring%20core/3.1.7/ganglia-3.1.7.tar.gz/download
tar -zxvf ganglia-3.1.7.tar.gz
cd ganglia-3.1.7
./configure --with-gmetad --with-librrd=/usr/local/lib --sysconfdir=/etc/ganglia
make
make install

编译安装成功！

几个重要文件的默认安装位置：

/usr/bin/gstat

/usr/bin/gmetric

/usr/sbin/gmond

/usr/sbin/gmetad

/etc/ganglia/gmetad.conf

 

需要进一步的操作，添加gmond和gmetad为系统服务：

cp gmond/gmond.init /etc/rc.d/init.d/gmond
cp gmetad/gmetad.init /etc/rc.d/init.d/gmetad
chkconfig --add gmond && chkconfig gmond on
chkconfig --add gmetad && chkconfig gmetad on

7）Ganglia web前端的安装：

mkdir /var/www/html/ganglia
cp -r web/* /var/www/html/ganglia

Ganglia的Wiki特别指出，web前端的运行需要rrdtool，以及gmetad中的rrds/目录，没有这两个东西，无法出图。gmetad中rrd图形默认存储的目录位置为/var/lib/ganglia/rrds：

mkdir -p /var/lib/ganglia/rrds
chown nobody:nobody /var/lib/ganglia/rrds

rrdtool的位置是/usr/local/bin/rrdtool，编译web前端的配置文件时会在那儿进行定义。

 

是不是觉得编译安装很麻烦？你也可以使用yum安装方式 ，只是Ganglia版本稍微低一些。Yum安装方式很简单，首先要安装epel源 (什么是epel ?自行google一下 )，然后运行：

 
       
       yum install rrdtool httpd php  ganglia *   以ganglia开头的几个软件都要安装

 

三、Ganglia的简单配置：

1）生成gmond默认配置文件：

gmond -t |tee /etc/ganglia/gmond.conf

2）服务器端配置文件gmetad.conf，主要是配置data_source参数。它设定了被监控端服务器的地址及端口，可以指定多个被监控端服务器：

data_source “hadoop” 10 192.168.9.45
grid_name “hadoop cluster status” /*设置一个web前端显示的名称，随意命名。

3）被监控节点配置文件gmond.conf：

gmond.conf包括了几个部分：globals、cluster、udp_send_channel、udp_recv_channel等，如果只是想要Ganglia简单地运行，两个操作就可以了，两个操作都是在cluster配置段中进行修改： 

首先，命名你的集群：

命名一个cluster名称，名称与gmetad.conf中的data_source保持一致。我的命名：name = "hadoop"

然后，修改tcp_accept_channel配置段如下：

tcp_accept_channel {
 port = 8649
 acl {
    default = "deny"
    access {
      ip = 192.168.9.45 /*这里用来监控服务器的地址
      mask = 32
      action = "allow"
      }
   }
}

把这个gmond.conf配置文件分发到每个被监控的节点服务器上，重启监控端的gmetad和gmond，以及节点端的gmond，即可对节点进行监控。 

4）修改web前端配置文件/var/www/html/conf.php，指定gmetad中存储rrd图形的目录，以及rrdtool的位置：

$gmetad_root = "/var/lib/ganglia";
$rrds = "$gmetad_root/rrds";

define("RRDTOOL", "/usr/local/bin/rrdtool");

四、启动ganglia，并访问其web页面：

service gmond start

service gmetad start

service httpd restart 

访问： http://192.168.9.45/ganglia 

 

五、被监控节点上安装Ganglia：

根据IBM网站上的文章所述，只需要拷贝几个文件到节点机器，即可使用Ganglia对这些机器进行监控。但是我们一般都不允许以root帐户连接远程服务器，所以也比较烦琐，还不如直接安装。

被监控节点服务器不需要安装RRDTOOL，php等，只需要gmond。编译安装方式跟监控节点一样，但configure时要简单一些，下面一条命令即可：

./configure --sysconfdir=/etc/ganglia

被监控节点上安装ganglia-gmond完毕后，从监控节点复制gmond.conf文件到被监控节点，然后启动/重启gmond，然后刷新监控web页面即可。

最好重启一下监控节点的gmetad。

 

然后把被监控端的gmond添加系统为系统服务，前面已经讲过了。略过。

 

被监控节点也可以使用yum方式安装，也是首先安装epel源，然后只需要运行下面命令：

 
       
       yum install ganglia-gmond

 

六、安装过程中遇到的错误及解决办法：

1）在configure apache时，遇到下列错误：

configure: error: Cannot use an external APR with the bundled APR-util

原因是apr和apr-util版本过低，下载并安装最新版，如下：

wget http://labs.renren.com/apache-mirror//apr/apr-1.4.5.tar.gz
tar -zxvf apr-1.4.5.tar.gz
cd apr-1.4.5
./configure && make && make install

调整lib库的位置：

vi /etc/ld.so.conf.d/libapr.conf，添加/usr/local/apr/lib，运行/sbin/ldconfig -v 

apr-util的安装参考上述apr的安装过程。

下载地址：wget http://labs.renren.com/apache-mirror//apr/apr-util-1.3.12.tar.gz

 

2）Ganglia configure失败：

Checking for apr

checking for apr-1-config... no

configure: error: apr-1-config binary not found in path 

解决：

yum -y install apr-devel

 

4）Ganglia make出错：

/usr/bin/ld: /usr/local/lib/libconfuse.a(confuse.o): relocation R_X86_64_32 against `a local symbol' can not be used when making a shared object; recompile with -fPIC

/usr/local/lib/libconfuse.a: could not read symbols: Bad value

collect2: ld returned 1 exit status

make[2]: *** [libganglia.la] Error 1

make[2]: Leaving directory `/usr/local/ganglia-3.1.7/lib'

make[1]: *** [all-recursive] Error 1

make[1]: Leaving directory `/usr/local/ganglia-3.1.7'

make: *** [all] Error 2

解决：

据网上资料，这个错误是因为在编译libconfuse时，需要指定特殊的选项：CFLAGS=-fPIC --disable-nls

重新编译libconfuse，并调整lib库：

./configure CFLAGS=-fPIC --disable-nls && make && make install

5）Ganglia访问失败：

There was an error collecting ganglia data (127.0.0.1:8652): fsockopen error: Permission denied 

解决：

需要关闭selinux：vi /etc/selinux/config，把SELINUX=enforcing改成SELINUX=disable；需要重启机器。

可以使用命令setenforce 0来关闭selinux而不需要重启，刷新页面，即可访问！但此方法只是一权宜之计。要想永久修改selinux设置，还是要使用第一种方法。