flume之集群监控 Ganglia 部署配置

flume支持http，ganglia，custom监控模式

http很简单，就是开放一个端口可以通过http请求拿取当前agent的各项数据

ganglia是一个开源的集群监控解决方案，自带统计，web展现

custom就是自定义方案了。

当然为了图省事，少弄些web画图之类用ganglia就可以了

这里给下最后的效果图：

效果就是这么丑丑的

但是够用了

废话不多说，正式进入主题

ganglia分为三部分

服务端，客户端，web端

gmetad，gmond，ganglia-web

gmond是一个终端采集agent，负责收集机器信息，及flume传给他的信息

gmetad就负责轮训配置的各个gmond机器，获取数据

ganglia-web是php实现的web站点

安装上最简单的就是yum install，apt-get了

自己公司用的阿里云所以就一下ok了

服务器安装：
    安装apache php 
    yum install httpd php
    安装gmetad
    yum install -y rrdtool perl-rrdtool rrdtool-devel #rddtool安装
    yum -y install apr-devel
    yum install ganglia-gmetad -y
    yum install ganglia-web


客户端安装
    yum install -y ganglia-gmond

客户端安装完，gmond的配置文件在/etc/ganglia/gmond.conf

里面要改的配置就是source名称，要跟gmetad一致

然后用组网模式或者单点模式，组网模式没有试过，

用的单点，配置本机的ip。

服务端安装，gmetad在/etc/ganglia/gmetad.conf上

主要修改data_source把之前装的gmond机器都写上

name跟前面的对应，一个gmond对应一条，名字不能

全部重复（ganglia显示格式grid-》source-》node）

这里还涉及到flume的配置：

-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=127.0.0.1:8649

为了部署方便我使用了127.0.0.1的本机地址模式

这时候在ganglia上看就是localhost，如果使用具体的ip地址就会是你的网络名

都用localhost的话source就不能一样了。不然冲突。

当然也可以把一些节点用一个gmond来收集，这个自己理解是可以

但是没有尝试。

就这么简单，so easy，自己但是是摸索了快一天

直接的源码安装遇到了一些问题，依赖的插件太多

一定要制定对的路劲才行。

rrds路劲一定要对，

php服务器对应的几个目录要有权限读写。