Flume简介和安装

什么是Flume?

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

Flume的体系结构
  1. 简单结构
    单个agent采集数据
    Source:接受数据,类型有多种。
    Channel:临时存放地,对Source中来的数据进行缓冲,直到sink消费掉。
    Sink: 从channel提取数据存放到中央化存储(hadoop / hbase)。


    Flume简介和安装_第1张图片
    1.png
  2. 复杂结构
    多级agent之间串联


    Flume简介和安装_第2张图片
    2.png
安装和配置Flume

Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境,上传安装包到数据源所在节点上然后解压

tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /soft
配置环境变量/etc/profile
export FLUME_HOME=/soft/flume
export PATH=$PATH:$FLUME_HOME/bin
flume-ng  -version // 验证
然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME

你可能感兴趣的:(Flume简介和安装)