flume架构理论

1. Flume是什么

• Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统

• Flume支持在日志系统中定制各类数据发送方，用于收集数据；

• Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

• flume支持的多种接入资源数据类型有哪些；多种接出数据类型？？

接入：console：终端、RPC网络、text文本、tail命令、syslog、exec

输出：磁盘、hdfs、hbase、kafka、网络传输到下游

2. Flume的架构

• Flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。

• Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成。

• flume使用event对象 来作为传递数据的格式,  是内部传输数据的最基本单元

• 每一个agent相当于一个数据传递员，内部有三个组件

  • source

    • 采集组件，用于对接数据源，以获取数据

  • channel

    • 传输通道组件，缓存数据，用于从source将数据传递到sink

  • sink

    • 下沉组件，数据发送给最终存储系统或者下一级agent中