Using Flume要点

flume是什么

• 可靠的，可扩展的大数据搬运系统，从数据生产者到数据最终目的地之间充当缓冲的角色，平衡数据生产者和消费者，提供稳定的流状态。

• 主要的目的地以hdsf以及hbase为主。

• 类似的有apache kafka以及facebook的scribe。

为什么要使用flume

• 把数据存储到hdfs或者hbase并不是简单地调用api那样简单，这里得考虑各种复杂的场景，比如并发写入的量以及hdfs及hbase的系统压力，网络延迟等等问题。

• flume设计为灵活的分布式系统，提供可定制化的管道，保证不会丢失数据，提供持久的channel

flume的构成

agent为其基本单元(每个agent包括source、channel、sink三大部分)

source，负责捕获数据到agent

• source拦截器，修改或删除事件

Avro Source
Exec Source
Spooling Directory Source
NetCat Source
Sequence Generator Source
Syslog Sources
Syslog TCP Source
Multiport Syslog TCP Source
Syslog UDP Source
HTTP Source

channel，一个缓冲区，负责在成功写入数据到sink之前，保存source已经接收的数据

• channel过滤器/选择器(对事件应用过滤条件，决定事件应该写入到哪个source附带的channel中)

• 内置channel

Memory Channel
File Channel
JDBC Channel

• channel处理器(处理事件写入channel)

  

sink，负责从channel移走数据到目的地或下一个agent

• sink运行器(事件处理分发)

• sink组(包含多个sink)

• sink处理器(从channel取数据写入到目的地)
  

• 内置sink

HDFS Sink
Logger Sink
Avro Sink
IRC Sink
File Roll Sink
Null Sink
HBaseSinks
ElasticSearchSink

事件

flume把数据表示为事件，事件包括byte数组的主体以及map形式的报头(路由信息)

拦截器

• 内置拦截器

Timestamp Interceptor
Host Interceptor
Static Interceptor
UUID Interceptor
Morpline Interceptor
Regex Filtering Interceptor
Regex Extractor Interceptor

适用场景

• 数据可以表示为多个独立记录

• 实时推送持续而且量级很大的数据流(如果每几个小时有几G的数据，不损害hdfs，没必要部署flume)