Flume功能简介

优点：flume是一种分布式、可靠以及高可用的海量日志采集、聚合和传输的系统。

功能：支持在日志系统中定制各类数据发送方，用于收集数据；同时可提供对数据进行简单处理，并具有写到各种数据接收方（HDFS、Hbase等）的能力。

结构：Agent主要由：source，channel，sink三个组件组成。

          source：从数据发生器接收数据，并将接的数据以flume的event格式传递给一个或多个通道channel,flume提供多种数据接收方式，比如Avro,Thrift,twitter1%等；

         channel：是一种短暂的存储容器，它将从source处接收到event格式的数据缓存起来，直到它们被sinks消费掉，它在source和sink间起着桥梁的作用，channel是一个完整的事物，这一点保住了数据在收发的时候的一致性。并且它可以和任意数量的source和sink链接。支持类型有：JDBC channel,File System channel, Memort channel等。

          sink: 将数据存储到集中存储器比如Hbase和HDFS，它从channels消费数据（event）并将其传递给目标地。目标地可能是另一个sink，也可能是HDFS、Hbase.

flume大体结构图如下：

flume的数据流由事件（event）贯穿始终。event是flume的基本数据单元，它携带日志数据（字节数据组形式）并且携带有头信息，这些event由Agent外部的Source生成。