ubuntu 配置ganlia监控hadoop 单机配置

ubuntu 配置ganlia监控hadoop 单机配置

ganglia简介：

　　Ganglia是一个跨平台可扩展的，高 性能计算系统下的分布式监控系统，如集群和网格。它是基于分层设计，它使用广泛的技术，如XML数据代表，便携数据传输，RRDtool用于数据存储和可 视化。

配置信息：

　　ubuntu 12.04 x64

　　hadoop版本1.0.4

首先需要安装ganglia，ubuntu下通过apt-get安装即可：

　　sudo apt-get install  ganglia-monitor ganglia-webfront gmetad

安装完成后修改/etc/ganglia/gmond.conf文件

将globals模块下的setuid=yes修改为setuid=no，cluster模块下的name修改为hadoop

然后修改/etc/ganglia/gmetad.conf文件

找到data_source， 将其修改为   data_source "hadoop" 127.0.0.1 如果是集群直接在多个ip用空格隔开，可以自行定义监听端口号，如果不自定义使用默认端口8649，如果有防火墙，记得开放端口号。

修改完成后重启ganglia

sudo /etc/init.d/ganglia-monitor restart

sudo /etc/init.d/gmetad restart

重启完之后就可以把ganglia-webfront 复制到apache的www目录下

sudo cp -r /usr/share/ganglia-webfront /var/www/ganglia

再重启apache 服务

sudo /etc/init.d/apache2 restart

这样就可以通过访问http://localhost/ganglia 查看界面。

配置hadoop：

找到hadoop目录下conf下的hadoop-metrics2.properties文件

#
# Below are for sending metrics to Ganglia
#
# for Ganglia 3.0 support
 *.sink.ganglia. class =org.apache.hadoop.metrics2.sink.ganglia.GangliaSink30
#
# for Ganglia 3.1 support
# *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

 *.sink.ganglia.period=10

# default for supportsparse is false
 *.sink.ganglia.supportsparse= true

*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40

namenode.sink.ganglia.servers=239.2.11.71:8649

datanode.sink.ganglia.servers=239.2.11.71:8649

jobtracker.sink.ganglia.servers=239.2.11.71:8649

tasktracker.sink.ganglia.servers=239.2.11.71:8649

maptask.sink.ganglia.servers=239.2.11.71:8649

reducetask.sink.ganglia.servers=239.2.11.71:8649

　　只需要将注释修改，然后将ganglia的server地址修改为239.2.11.71即可，重启hadoop，即可看到如下视图，表示ganglia搭建成功