Flume简介和安装

什么是Flume？

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

Flume的体系结构

1. 简单结构
   单个agent采集数据
   Source：接受数据，类型有多种。
   Channel：临时存放地，对Source中来的数据进行缓冲，直到sink消费掉。
   Sink： 从channel提取数据存放到中央化存储(hadoop / hbase)。

   
   
   

   1.png

2. 复杂结构
   多级agent之间串联

   
   
   

   2.png

安装和配置Flume

Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境,上传安装包到数据源所在节点上然后解压

tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /soft
配置环境变量/etc/profile
export FLUME_HOME=/soft/flume
export PATH=$PATH:$FLUME_HOME/bin
flume-ng  -version // 验证
然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME