Flume 数据流监控

1.Ganglia 的安装与部署

1. 安装httpd服务与php

[hadoop@hadoop102 flume]$ sudo yum -y install httpd php

2. 安装其他依赖

[hadoop@hadoop102 flume]$ sudo yum -y install rrdtool perl-rrdtool rrdtool-devel
[hadoop@hadoop102 flume]$ sudo yum -y install apr-devel

3. 安装ganglia

[hadoop@hadoop102 flume]$ sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
[hadoop@hadoop102 flume]$ sudo yum -y install ganglia-gmetad 
[hadoop@hadoop102 flume]$ sudo yum -y install ganglia-web
[hadoop@hadoop102 flume]$ sudo yum install -y ganglia-gmond

注意：如果这里安装不成功，可以去https://mirrors.tuna.tsinghua.edu.cn/epel/6/x86_64/Packages/下载相应的rpm包，导入到linux中，使用 rpm -ivh 包名 --force --nodeps来安装相应包

4. 修改配置文件/etc/httpd/conf.d/ganglia.conf

[hadoop@hadoop102 flume]$ sudo vim /etc/httpd/conf.d/ganglia.conf

5. 修改配置文件/etc/ganglia/gmetad.conf

[hadoop@hadoop102 flume]$ sudo vim /etc/ganglia/gmetad.conf

6. 修改配置文件/etc/ganglia/gmond.conf
   
7. 修改配置文件/etc/selinux/config
   
   提示：selinux本次生效关闭必须重启，如果此时不想重启，可以临时生效之：

[hadoop@hadoop102 flume]$ sudo setenforce 0

8. 启动ganglia

[hadoop@hadoop102 flume]$ sudo service httpd start
[hadoop@hadoop102 flume]$ sudo service gmetad start
[hadoop@hadoop102 flume]$ sudo service gmond start

9. 打开网页浏览ganglia页面
   http://192.168.1.102/ganglia
   尖叫提示：如果完成以上操作依然出现权限不足错误，请修改/var/lib/ganglia目录的权限：

[hadoop@hadoop102 flume]$ sudo chmod -R 777 /var/lib/ganglia

2.操作Flume测试监控

1. 修改/opt/module/flume/conf目录下的flume-env.sh配置：
   JAVA_OPTS="-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.186.102:8649 -Xms100m -Xmx200m"
2. 启动Flume任务

[hadoop@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job/flume-telnet-logger.conf -Dflume.root.logger==INFO,console -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.186.102:8649

3. 发送数据观察ganglia监测图

[hadoop@hadoop102 flume]$ nc localhost 44444

进入http://192.168.186.102/ganglia/

3.字段含义

字段（图表名称）	字段含义
EventPutAttemptCount	source尝试写入channel的事件总数量
EventPutSuccessCount	成功写入channel且提交的事件总数量
EventTakeAttemptCount	sink尝试从channel拉取事件的总数量。这不意味着每次事件都被返回，因为sink拉取的时候channel可能没有任何数据。
EventTakeSuccessCount	sink成功读取的事件的总数量
StartTime	channel启动的时间（毫秒）
StopTime	channel停止的时间（毫秒）
ChannelSize	目前channel中事件的总数量
ChannelFillPercentage	channel占用百分比
ChannelCapacity	channel的容量