Flume学习文档(1){Flume基本概念、Flume事件概念与原理}

Flume学习文档(1)

【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】

总内容：Flume基本概念、Flume事件概念与原理、Flume安装部署、Flume配置文件

此篇为Flume学习文档(1)，接Flume学习文档(2)

日志数据收集 收集的是非结构化数据
flume不能传输图片`，文本文件可以
sqoop收集的是结构化数据，sqoop全量导入

1.Flume基本概念

1> 概念

Flume由Cloudera公司开源。是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。

分布式：数据源多样化，数据源分散
可靠性：保证不丢数据，允许丢部分数据
可扩展：数据源可能会不断增加、通过并行提高性能
可定制
flume类似于一个中间件：屏蔽了数据源和数据存储系统的异构性

2>Flume特点：

可靠性：数据不易丢失
可扩展性：各组件数目可扩展
高性能：吞吐率很高，能满足海量数据手机需求
可管理性：可动态增加和删除组件
文档丰富，社区活跃

3>Flume有两个版本

Flume OG(之前版本) “Original G”
Flume NG(精简代码，架构简化)，用后一个版本

4>主要的作用

实时读取服务器本地磁盘的数据将数据写入到HDFS

2.Flume事件概念与原理

source 输入
channel 缓冲
sink 输出

Flume架构中的组件：

1>Agent

Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。
Agent主要有3个部分组成，Source、Channel、Sink。

2>Source

Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、taildir、kafka、sequence generator、syslog、http、legacy。

avro：两个flume进行通信
exec：命令行监控
taildir：监控等多个目录动态变换的数据
kafka：从kafka中读取消息
NetCat：网络通信工具，读网络端口

3>Sink

Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

Sink组件目的地包括hdfs、hive、logger、avro、thrift、ipc、file、HBase、solr、自定义。
logger：打印到控制台，用于测试
custom：用户

4>Channel

Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。Memeory、JDBC、Kafka、File、

Flume自带两种Channel：Memory Channel和File Channel以及KafkaChannel。
Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。
File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

5>Event

传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。Event由Header和Body两部分组成，Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组。

【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】