Flume简介及安装

一.Flume简介

1.什么是Flume？

flume 作为 cloudera 开发的实时日志收集系统，用于将多种来源的日志以流的方式传输至Hadoop或者其他目的地

2.Flume架构

• Client：客户端，数据产生的地方，如Web服务器
• Event：事件，指通过Agent传输的单个数据包，如日志数据通常对应一行数据
• Agent：代理，一个独立的JVM进程

Agent组件：Source，channel，sink

二.Flume安装及环境配置

1.准备安装包flume-ng-1.6.0-cdh5.14.0.tar.gz

2.解压flume安装包

#解压安装包
[root@hadoop1 ~]#tar zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /opt
[root@hadoop1 opt]#
#mv apache-flume-1.6.0-bin/ flume160

3.修改配置文件

[root@hadoop1 ~]# cd /opt/flume160/conf/
[root@hadoop1 conf]#mv flume-env.sh.template flume-env.sh
#添加JAVA_HOME
export JAVA_HOME=/opt/jdk1.8.0_221
#可以设置一下,将JVM最小内存和最大内存改成2048
JAVA_OPTS="-Xms2048m -Xmx2048m -Dcom.sun.management.jmxremote"
保存退出即可