Flume安装

1. Flume简介

• Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统
• 支持在日志系统中定制各类数据发送方，用于收集数据
• Flume提供对数据进行简单处理，并写到各种数据接收方

2. Flume OG 与Flume NG

Flume OG：Flume original generation,即Flume0.9x版本

Flume NG：Flume next generation，即Flume1.x版本

3. Flume体系结构

flume的事件(agent)

• Source: 用来定义采集系统的源头
• Channel: 把Source采集到的日志进行传输,处理
• Sink:定义数据的目的地

4. Flume的安装

• 准备安装文件

  • apache-flume-1.6.0-bin.tar.gz

• 解压

  • tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt/

• 重命名

  • mv apache-flume-1.6.0-bin flume

• 添加环境变量

#配置Flume的环境变量
  export FLUME_HOME=/opt/flume
  export PATH=$PATH:$FLUME_HOME/bin

• 配置文件

[root@mini01 /opt/flume/conf]
  	mv flume-env.sh.template flume-env.sh

[root@mini01 /opt/flume/conf/flume-env.sh]
  	export JAVA_HOME=/opt/jdk