环境：

系统
CentOS 6.0
hadoop集群中有3台服务器
server01 -> master 192.168.255.128
server02 -> slave    192.168.255.130
server03 -> slave    192.168.255.131

软件仓库 epel

    直接使用epel源中的ganglia（自己编译安装有点小麻烦）。

1. 安装epel源

 
    
     
     
  1. wget http://download.fedora.redhat.com/pub/epel/6/x86_64/epel-release-6-5.noarch.rpm -P /usr/local/src  
    2.  
     
  2. rpm -ivh /usr/local/src/epel-release-6-5.noarch.rpm  
    3.  
     
  3. rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6 
    4.  
    
 
    
2. ganglia服务端安装gemtad和gmond
 
    
 
    
     
     
  1. yum install ganglia ganglia-devel ganglia-gmetad ganglia-gmond ganglia-web ganglia-gmond-python 
    2.  
    
 
    
会自动安装相应的依赖包。
 
    
3. 其他服务器（作为客户端）只需安装gmond
 
    
 
    
     
     
  1. yum install ganglia ganglia-gmond 
    2.  
    
 
    
4. 配置ganglia的gemtad
 
    
 
    
     
     
  1. cd /etc/ganglia  
    2.  
     
  2. vi gmetad.conf  
    3.  
     
  3. data_source "ganglia_hadoop" 192.168.255.128 192.168.255.130 192.168.255.131 
    4.  
    
 
    
修改数据源data_source这一行即可。
 
    
data_source "name" ip01:port01 ip02:port02 ...
 
    
说明：后面这些IP地址就是进行监控的主机，冒号后面跟的是要监听的端口号（默认为8649）。
 
    
启动服务
 
    
 
    
     
     
  1. service gmetad start  
    2.  
     
  2. chkconfig gmetad on 
    3.  
    
 
    
5. 所有服务器配置客户端gmond（使用多播）
 
    
 
    
     
     
  1. vi /etc/ganglia/gmond.conf  
    2.  
     
  2. cluster {  
    3.  
     
  3.   name = "ganglia_hadoop" 
    4.  
     
  4.   ... 
    5.  
    
 
    
只需将集群的name设置为gmetad中data_source设置的名字即可。
 
    
启动服务
 
    
 
    
     
     
  1. service gmond start 
    2.  
    
 
    
6. 配置nginx
 
    
 
    
     
     
  1. vi /usr/local/nginx/conf/vhosts/ganglia.conf  
    2.  
     
  2. server  
    3.  
     
  3. {  
    4.  
     
  4.   listen  80;  
    5.  
     
  5.   server_name  域名;  
    6.  
     
  6.   index index.html index.htm index.php;  
    7.  
     
  7.   root  /usr/share/ganglia;  
    8.  
     
  8.  
    9.  
     
  9.   location ~ ^(.*)\/\.svn\/  
    10.  
     
  10.   {  
    11.  
     
  11.     deny all;  
    12.  
     
  12.   }  
    13.  
     
  13.  
    14.  
     
  14.   location ~ .*\.(php|php5)?$  
    15.  
     
  15.   {  
    16.  
     
  16.     # fastcgi_pass  unix:/tmp/php-cgi.sock;  
    17.  
     
  17.     fastcgi_pass  php_server01;  
    18.  
     
  18.     fastcgi_index index.php;  
    19.  
     
  19.     include fcgi.conf;  
    20.  
     
  20.   }  
    21.  
     
  21.  
    22.  
     
  22.   location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$  
    23.  
     
  23.   {  
    24.  
     
  24.     expires      30d;  
    25.  
     
  25.     access_log   off;  
    26.  
     
  26.   }  
    27.  
     
  27.  
    28.  
     
  28.   location ~ .*\.(js|css)?$  
    29.  
     
  29.   {  
    30.  
     
  30.     expires      1h;  
    31.  
     
  31.     access_log   off;  
    32.  
     
  32.   }  
    33.  
     
  33.  
    34.  
     
  34.   log_format  ganglia  '$remote_addr - $remote_user [$time_local] [$request_time] "$request"'  
    35.  
     
  35.               '$status $body_bytes_sent "$http_referer"'  
    36.  
     
  36.               '"$http_user_agent" $http_x_forwarded_for';  
    37.  
     
  37.   access_log  off;  
    38.  
     
  38. } 
    39.  
    
 
    
 主目录为：/usr/share/ganglia
 
    
可以添加通过nginx设置用户名密码访问和限制IP访问。
 
    
访问http://域名
 
    
会报错：
 
    
Notice: Undefined variable: private in /usr/share/ganglia/auth.php on line 27
 
    
因为我的php-fpm的运行用户为nobody，程序auth.php中fopen打开的文件为private_clusters，链接到/etc/ganglia/private_clusters，查看文件的拥有者
 
    
 
    
     
     
  1. ls -l /etc/ganglia/private_clusters  
    2.  
     
  2. -rw-r----- 1 root apache 1222 Feb 17  2010 /etc/ganglia/private_clusters 
    3.  
    
 
    
组拥有者为apache，修改组为php-fpm运行的用户即可。
 
    
 
    
     
     
  1. chown root:nobody /etc/ganglia/private_clusters 
    2.  
    
 
    
7. 监控hadoop
 
    
我使用的hadoop的版本为hadoop-0.20.205.0.tar.gz，ganglia的配置文件已经修改为hadoop-metrics2.properties
 
    
修改配置文件
 
    
 
    
     
     
  1. vi $HADOOP_HOME/conf/hadoop-metrics2.properties
    2.  
     
  2. # for Ganglia 3.1 support  
    3.  
     
  3. *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31  
    4.  
     
  4.  
    5.  
     
  5. *.sink.ganglia.period=10 
    6.  
     
  6.  
    7.  
     
  7. # default for supportsparse is false  
    8.  
     
  8. *.sink.ganglia.supportsparse=true 
    9.  
     
  9.  
    10.  
     
  10. *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both 
    11.  
     
  11. *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40 
    12.  
     
  12.  
    13.  
     
  13. namenode.sink.ganglia.servers=239.2.11.71:8649  
    14.  
     
  14.  
    15.  
     
  15. datanode.sink.ganglia.servers=239.2.11.71:8649  
    16.  
     
  16.  
    17.  
     
  17. jobtracker.sink.ganglia.servers=239.2.11.71:8649  
    18.  
     
  18.  
    19.  
     
  19. tasktracker.sink.ganglia.servers=239.2.11.71:8649  
    20.  
     
  20.  
    21.  
     
  21. maptask.sink.ganglia.servers=239.2.11.71:8649  
    22.  
     
  22.  
    23.  
     
  23. reducetask.sink.ganglia.servers=239.2.11.71:8649 
    24.  
    
 
    
只需要将ganglia段落中的相关注释取消即可。
 
    
注意：需要根据你的ganglia的版本来选择注释以下哪一行
 
    
# for Ganglia 3.0 support
 # *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink30
 #
 # for Ganglia 3.1 support
 *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
 
    
需要修改hadoop集群中所有的服务器的hadoop-metrics2.properties文件
 
    
重启hadoop
 
    
 
    
     
     
  1. stop-all.sh  
    2.  
     
  2. start-all.sh 
    3.  
    
 
    
8. 查看ganglia的监控页面将会看到相关的监控信息
 
    
如：dfs.dataname metrics