Flume安装

1. Flume简介

  • Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统
  • 支持在日志系统中定制各类数据发送方,用于收集数据
  • Flume提供对数据进行简单处理,并写到各种数据接收方

2. Flume OG 与Flume NG

Flume OG:Flume original generation,即Flume0.9x版本

Flume NG:Flume next generation,即Flume1.x版本

3. Flume体系结构

flume的事件(agent)

  • Source: 用来定义采集系统的源头
  • Channel: 把Source采集到的日志进行传输,处理
  • Sink:定义数据的目的地

4. Flume的安装

  • 准备安装文件

    • apache-flume-1.6.0-bin.tar.gz
  • 解压

    • tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt/
  • 重命名

    • mv apache-flume-1.6.0-bin flume
  • 添加环境变量

#配置Flume的环境变量
  export FLUME_HOME=/opt/flume
  export PATH=$PATH:$FLUME_HOME/bin
  • 配置文件
[root@mini01 /opt/flume/conf]
  	mv flume-env.sh.template flume-env.sh
[root@mini01 /opt/flume/conf/flume-env.sh]
  	export JAVA_HOME=/opt/jdk

你可能感兴趣的:(大数据)