Flume系列：Flume数据监控Ganglia

目录

Apache Hadoop生态-目录汇总-持续更新

安装说明

1）安装 ganglia

2）在 worker213 修改配置文件

3）在 所有服务器 修改配置文件/etc/ganglia/gmond.conf

4）启动 ganglia

5）打开网页浏览 ganglia 页面

6）操作 Flume 测试监控

---

Apache Hadoop生态-目录汇总-持续更新

系统环境：centos7

Java环境：Java8

安装说明

Ganglia 由 gmond、gmetad 和 gweb 三部分组成。

gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用 gmond，你可以很容易收集很多系统指标数据，如 CPU、内存、磁盘、网络和活跃进程的数据等。

gmetad（Ganglia Meta Daemon）整合所有信息，并将其以 RRD 格式存储至磁盘的服务。

gweb（Ganglia Web）Ganglia 可视化工具，gweb 是一种利用浏览器显示 gmetad 所存储数据的 PHP 前端。在 Web 界面中以图表方式展现集群的运行状态下收集的多种不同指标数据。

1）安装 ganglia

（1）规划

worker213: web gmetad gmod
worker214: gmod
worker215: gmod

（2）所有服务器分别安装 epel-release

sudo yum -y install epel-release

 （3）worker213安装

sudo yum -y install ganglia-gmetad ganglia-web ganglia-gmond

（4）在 worker214 和 worker215安装

sudo yum -y install ganglia-gmond

2）在 worker213 修改配置文件

# 1：ganglia.conf
sudo vim /etc/httpd/conf.d/ganglia.conf


# Require local
#  允许所有设备访问
Require all granted   
# Require ip 10.1.2.3
# Require host example.org




# 2
sudo vim /etc/ganglia/gmetad.conf
修改
data_source "my cluster" worker213

# 3
sudo vim /etc/selinux/config
修改为：
SELINUX=disabled

worker213服务器执行：sudo setenforce 0

3）在 所有服务器 修改配置文件/etc/ganglia/gmond.conf

sudo vim /etc/ganglia/gmond.conf

udp_send_channel {
  # mcast_join = 239.2.11.71    --注释掉
  # 数据发送给 worker213
  host = worker213   -- 添加
  port = 8649                
  ttl = 1
}

udp_recv_channel {
  # mcast_join = 239.2.11.71   --注释掉
  port = 8649
  
  # 接收来自任意连接的数据
  bind = 0.0.0.0      --修改
  retry_bind = true
  # buffer = 10485760
}

4）启动 ganglia

（1）在所有服务器上启动

sudo systemctl start gmond

（2）在 worker213 启动

sudo systemctl start httpd
sudo systemctl start gmetad
sudo systemctl start gmond

sudo systemctl stop httpd
sudo systemctl stop gmetad
sudo systemctl stop gmond

5）打开网页浏览 ganglia 页面

http://worker213/ganglia

尖叫提示：如果完成以上操作依然出现权限不足错误，请修改/var/lib/ganglia 目录的权限：

worker213执行：
sudo chmod -R 777 /var/lib/ganglia

6）操作 Flume 测试监控

1）启动 Flume 任务

flume]$ bin/flume-ng agent \
-c conf/ \
-n a1 \
-f job/flume-netcat-logger.conf \
-Dflume.root.logger=INFO,console \

-Dflume.monitoring.type=ganglia \
-Dflume.monitoring.hosts=worker213:8649

2）发送数据观察ganglia监控

 如何查看有没有丢数据？

        put成功的= sink成功的+ channelsize

        尝试 大于 成功， 可能是资源不够了， 加内存配额

         修改flume-env.sh

 Flume系列

        Apache Hadoop生态部署-Flume采集节点安装

        Flume系列：Flume组件架构

        Flume系列：Flume Source使用

        Flume系列：Flume Channel使用

        Flume系列：Flume Sink使用

        Flume系列：Flume 自定义Interceptor拦截器

        Flume系列：Flume通道拓扑结构

        Flume系列：Flume常用采集通道案例

        Flume系列：案例-Flume复制(Replicating)和多路复用(Multiplexing)

        Flume系列：案例-Flume负载均衡和故障转移

        Flume系列：案例-Flume 聚合拓扑(常见的日志收集结构)

        Flume系列：Flume数据监控Ganglia