flume机制原理

what's flume?

flume 是系统， 是高可用的，高可靠的，分布式的海量数据日志采集，聚合和传输的系统

总结就是 两个特点。高可用，高可靠 三个功能：数据的采集，聚合和传输.。

体系架构：

F的数据流是由事件（event）贯穿始终。事件是F的基本数据单位。事件携带着这事件所有数据内容信息和数据头信息。这些事件（event） 由Agent外部的Source 生成。当Source捕获事件后会进行特定格式化。然后Source 会把事件推入到单个或者多个channel中，可以把channel看做是缓冲区，起到缓冲数据的作用，这channel将保存事件直到sink 处理完该事件。sink 负责持久化日志或者把事件推向另一个source中

F以agent 为最小的独立运行单位。 一个agent 就是一个jvm d单agent 由Source ,sink,channel 三大组件构成

看我手绘图

数据流模型

各个组件的相关功能

---

百度——非原创

---

系统功能

日志收集

Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。

数据处理

Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力

Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX

tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。

工作方式

Flume-og采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume

Master节点。Flume Master间使用gossip协议同步数据。

Flume-ng最明显的改动就是取消了集中管理配置的 Master 和

Zookeeper，变为一个纯粹的传输工具。Flume-ng另一个主要的不同点是读入数据和写出数据现在由不同的工作线程处理（称为

Runner）。 在 Flume-og 中，读入线程同样做写出工作（除了故障重试）。如果写出慢的话（不是完全失败），它将阻塞 Flume

接收数据的能力。这种异步的设计使读入线程可以顺畅的工作而无需关注下游的任何问题。

---

代理节点（agent）、收集节点（collector）、主节点（master）。

agent从各个数据源收集日志数据，将收集到的数据集中到collector，然后由收集节点汇总存入hdfs。master负责管理agent，collector的活动。

在Flume中，最重要的抽象是dataflow（数据流），data flow描述了数据从产生，传输、处理并最终写入目标的一条路径。

对于agent数据流配置就是从哪得到数据，把数据发送到哪个collector。

对于collector是接收agent发过来的数据，把数据发送到指定的目标机器上。

Flume框架对Hadoop和zookeeper的依赖只是在jar包上，并不要求flume启动时必须将hadoop和zookeeper服务也启动。