使用Ganglia监控Flume的性能指标数据

一、原理
根据“ 《Monitoring with Ganglia》Chapter 2 Installing and Configuring Ganglia”,Ganglia中收集性能指标数据的是Gmond进程,Gmond进程会加载用于收集性能指标数据的模块,如果想收集自定义的性能指标数据,可以自己扩展实现相应的性能指标数据加载模块。

Flume支持被Ganglia监控,就是因为Flume中包含有如上所述的模块,这些模块用来加载Flume运行过程中特定于Flume的性能指标数据;另外,Flume中包含有跟Gmond程序中send部分同等功能的程序,它在运行的时候会加载前述的这些模块,加载Flume运行过程中特定于Flume的性能指标数据,然后将其发送给“目的地址:目的端口”(如果目的地址是广播地址,那么采用的通信方式是UDP多路广播;否则,采用的通信方式是UDP点对点单播)。


二、具体配置
一般情况下,运行Flume的命令如下:
bin/flume-ng agent -n a1 -f config.properties
为了使得Flume被Ganglia监控,需要配置以下几个参数:
1)flume.monitoring.type
监控类型,值必须为"ganglia"。没有默认值。
2)flume.monitoring.hosts
监控得到的性能指标数据的“发送目的地址:发送目的端口”,允许有多个这样的“发送目的地址:发送目的端口”,中间以逗号隔开。注意,这个参数被相当于Gmond程序中send部分的程序所使用,从Gmond程序中send部分的角度来看待这个参数,比较好理解。没有默认值。
3)flume.monitoring.pollFrequency
两次发送监控得到的性能指标数据之间的时间间隔,以"s"为单位。默认值是60。
4)isGanglia3

配置监控得到的性能指标数据的格式是支持Ganglia 3,还是支持Ganglia 3.1。默认值是false。


比如通过以下命令运行Flume,就使得Flume被Ganglia监控,并且监控得到的性能指标数据被发送给“239.2.11.71:8649”
bin/flume-ng agent -n a1 -f config.properties -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=239.2.11.71:8649


参考文献:
[1]http://blog.csdn.net/dslztx/article/details/48735287
[2]http://blog.csdn.net/dslztx/article/details/48627961

[3]https://flume.apache.org/releases/content/1.6.0/FlumeUserGuide.pdf

[4]http://mail-archives.apache.org/mod_mbox/flume-user/201501.mbox/%[email protected]%3E

你可能感兴趣的:(使用Ganglia监控Flume的性能指标数据)