Flume——简介及架构

简介

Apache Flume是一个分布式、高可用、高可靠的系统，可以有效地从许多不同的源收集、聚合和移动海量日志数据到集中式数据存储。

Flume可用于传输大量事件数据：

• 日志数据
• 网络流量数据
• 社交媒体数据
• 电子邮件消息
• ……

优势

• 支持将数据存储到任何集中存储器中，比如HDFS，Hive，HBase；
• 当传入数据的速率超过可以将数据写入目标的速率时，flume充当数据生产者和集中存储之间的中介，并在它们之间提供稳定的数据流；
• channel是基于事务，保证了数据在传送和接收时的一致性；
• 可靠的，容错性高的，可扩展的，易管理的，并且可定制的；
• 支持各种接入数据的类型以及接出数据类型；
• 支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等；
• 支持水平扩展。

组成

• agent：agent是一个JVM进程，它以事件的形式将数据从源头送至目的地。由三个部分组成：
  • source
  • channel
  • sink
• event：数据传输的基本单元，带有一个可选的消息头。如果是文本文件，通常是一行记录；event从source，流向channel，再到sink；
• source：负责接收数据到agent的组件，支持处理各种类型、各种格式的日志数据；
• channel：主要提供一个队列的功能，是位于source和sink之间的缓冲区。自带两种channel：
  • Memory Channel：基于内存缓存，在不需要关心数据丢失的情境下适用；
  • File Channel：Flume的持久化channel。在程序关闭或机器宕机的情况下不会丢失数据。
• sink：sink不断地轮询channel中的事件且批量地移除它们。并将这些事件批量写入到存储或索引系统、或者被发送到另一个flume agent。

Flume事务性

Flume的事务性主要体现在两个方面：

• put事务：从source到channel的事件传输过程叫Put事务。通过doPut将批数据先写入临时缓冲区putList；再通过doCommit将批数据提交给channel。一旦事务中的所有事件全部传递到channel且提交成功，那么source就将其标记为完成。如果因为某种原因事件传递失败，那么事务将会回滚。
• take事务：从channel拉取事件数据到sink的过程叫take事务。通过doTake先将数据取到临时缓冲区takeList；再通过doCommit将事件数据发送到sink。如果数据全部发送数据成功，则清除临时缓冲区takeList。如果数据发送过程中出现异常，rollback将临时缓冲区takeList中的数据归还给channel内存序列。

Flume Agent内部原理

Flume agent内部工作流程：

1. Source采集数据；
2. 在Source内部，由EventBuilder.withBody(body)将数据封装成event对象，由source.getChannelProcessor().processEvent(event)将event交给Channel处理器；
3. Channel 处理器将event传给Interceptor拦截器链，进行简单的数据清洗过滤，然后将其返回给Channel 处理器；
4. Channel 处理器再将过滤之后的event传给Channel选择器，Channel选择器决定每个event写入哪个Channel，以及哪些Channel时必需的或可选的。Channel选择器分两种：
   • Replicating Channel Selector：默认，将source过来的event发往所有的channel（相当于复制多份）；
   • Multiplexing Channel Selector：可以配置source发过来的event具体发往哪些Channel。其工作原理就是根据event的header中的key-value来判断该event该发往哪一个Channel。而event中的header是拦截器过滤好event之后给event加的具体的header，即key-value。所以，一般都是拦截器和Multiplexing Channel Selector 结合起来使用。
5. Channel选择器返回event的channel列表；
6. 根据Channel选择器的选择结果，将event写入相应的channel；
7. Sink 处理器选择其中一个sink去获取channel中的event，并将获取的event写入下一个阶段。通过配置Sink groups，可以实现sink的负载均衡和故障转移。其中：Sink processor有三种：
   • DefaultSinkProcessor：默认的，内部无任何逻辑，只是单纯的调用sink；
   • LoadBalancingSinkProcessor：负载均衡；
   • FaioverSinkProcessor：容灾恢复。

Flume配置文件配置流程

Flume配置文件是具有键值对的Java属性文件，配置分为5步：

• Name the components of the current agent.
• Describe/Configure the source.
• Describe/Configure the sink.
• Describe/Configure the channel.
• Bind the source and the sink to the channel.

Flume支持多种Source、Channel和Sink：
Source：

• Avro Source
• Thrift Source
• Exec Source
• JMS Source
• Spooling Directory Source
• Twitter 1% firehose Source
• Kafka Source- NetCat Source
• Sequence Generator Source
• Syslog Sources
• Syslog TCP Source
• Multiport Syslog TCP Source
• Syslog UDP Source
• HTTP Source
• Stress Source
• Legacy Sources
• Thrift Legacy Source
• Custom Source
• Scribe Source

Channel：

• Memory Channel
• JDBC Channel
• Kafka Channel
• File Channel
• Spillable Memory Channel
• Pseudo Transaction Channel

Sink：

• HDFS Sink
• Hive Sink
• Logger Sink
• Avro Sink
• Thrift Sink
• IRC Sink
• File Roll Sink
• Null Sink
• HBaseSink
• AsyncHBaseSink
• MorphlineSolrSink
• ElasticSearchSink
• Kite Dataset Sink
• Kafka Sink