9. Flume数据流监控-Ganglia

Flume数据流监控-Ganglia

1. Ganglia的安装与部署

#安装httpd服务与php
sudo yum -y install httpd php

#安装其他依赖
sudo yum -y install rrdtool perl-rrdtool rrdtool-devel
sudo yum -y install apr-devel

#安装ganglia
sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
sudo yum -y install ganglia-gmetad
sudo yum -y install ganglia-web
sudo yum -y install ganglia-gmond

Ganglia 由 gmond、gmetad 和 gweb 三部分组成。

• gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用 gmond，你可以很容易收集很多系统指标数据，如 CPU、内存、磁盘、网络和活跃进程的数据等。
• gmetad（Ganglia Meta Daemon）整合所有信息，并将其以 RRD 格式存储至磁盘的服务。
• gweb（Ganglia Web）Ganglia 可视化工具，gweb 是一种利用浏览器显示 gmetad 所存储数据的 PHP前端。在 Web 界面中以图表方式展现集群的运行状态下收集的多种不同指标数据。

2. Ganglia配置

#修改配置文件/etc/httpd/conf.d/ganglia.conf
sudo vim /etc/httpd/conf.d/ganglia.conf

#修改配置文件/etc/ganglia/gmetad.conf
sudo vim /etc/ganglia/gmetad.conf

#在末尾添加
data_source "hadoop" 192.168.68.136

#修改配置文件/etc/ganglia/gmond.conf
sudo vim /etc/ganglia/gmond.conf

#修改配置文件/etc/selinux/config
sudo vim /etc/selinux/config

#selinux 本次生效关闭必须重启，如果此时不想重启，可以临时生效之
sudo setenforce 0

#启动 ganglia
sudo service httpd start
sudo service gmetad start
sudo service gmond start

sudo service httpd restart
sudo service gmetad restart
sudo service gmond restart

打开网页浏览 ganglia页面

http://192.168.68.136/ganglia

3. 操作Flume测试监控

#修改/opt/module/flume/conf 目录下的flume-env.sh配置
JAVA_OPTS="-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.68.136:8649 -Xms100m -Xmx200m"

#启动Flume任务
bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger==INFO,console -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.68.136:8649

#发送数据观察ganglia  
nc hadoop 44444
hello
hello ganglia

下面页面链接…

☆