大数据之Flume技术详解（一）

大数据之Flume技术详解（一）

文章适合新手了解Flume。文章在编写过程中难免有疏漏和错误，欢迎大佬指出文章的不足之处；更多内容请点进 Lino_White 查看。

未来的世界充满着各式各样的数据，我们该怎么好好利用起来呢？开启《大数据之Flume技术详解（一）》正文吧~~~

1、Flume简答

（1）Flume是什么？

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统（不负责分析）。基于流式架构，灵活简单。
Flume适合做的是实时推送事件，尤其是在数据流是持续的且量级很大的情况，否则没必要采用Flume增加系统的复杂度。

（2）Flume有什么用？

Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。

（3）Flume怎么使用？

在Flume官网下载包：http://flume.apache.org/download.html
这里只说明下载包，具体下载后如何使用请自觉百度。

2、Flume基础架构介绍

（1）Agent

Flume中最简单的部署单元是Flume Agent，Agent是一个Java应用程序，接受并生产数据并缓存数据，直至最终写入到其他Agent中或者是存储系统中。

Agent主要由:Source,Channel,Sink三个组件组成。

（2）Source

Source：从数据发生的应用中接收数据，并将接收的数据以Flume的Event格式传递给一个或者多个通道Channel。
Flume提供多种数据接收的方式，比如Avro，Netcat，Syslog，Exec，http等等。

（3）Channel

Channel：位于Source和Sink之间的一种短暂的存储容器（类似缓冲区），它将从Source处接收到的数据缓存起来，直到它们被Sinks消费掉。
它在Source和Sink间起着桥梁的作用,Channel是一个完整的事务,这一点保证了数据在收发的时候的一致性；并且它可以和任意数量的Source和Sink连接。
支持的类型有：JDBC channel , File System channel , Memory channel等等。

（4）Sink

Sink：将数据存储到集中存储器（Hbase，HDFS），或者打印在仅测试阶段的控制台上面查看数据。
它从Channel消费数据（Events）并将其传递给目标地.；目标地包括fille，其他Agent中或者是存储系统中。

（5）Event

Event：数据传输的基本单元，以Event形式将数据从数据源传送到目的地。
由Header和Body两部分组成，Header存放Flume传输数据过程的一些相关配置信息，Body存放数据。

3、使用教程

通过确定我们的数据来源类型（Netcat、syslog、exec），确定Source的接收方式，Channel的存储类型，Sink的输出类型。
确定以上信息后，可以通过在官网的文档中寻找相对应需要配置的信息文件，地址：http://flume.apache.org/documentation.html。

下面列举简单的例子说明使用过程：

在flume的conf目录下新建flume-emple-logger.conf 文件，配置信息如下：

# Flume配置文件信息，具体可参考官方文档来进行不同类型、方式来进行修改。

# 初始化Agent中的组件变量
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 获取Netcat中的数据来作为数据源
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# channels使用memory方式来缓存
#（capacity和transactionCapacity根据自己的需求更改）
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Sink配置输出类型logger
a1.sinks.k1.type = logger

# 绑定组件
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

在系统开启Netcat、Flume后，进入Flume的文件夹，输入命令：

$ bin/flume-ng agent -c conf -f flume-emple-logger.conf -n a1 -Dflume.root.logger=INFO,console

-c：配置文件的文件夹
-f：配置文件
-n：配置文件中的agent名字
-Dflume.root.logger=INFO,console：将logger作为输出类型必带的参数

[ 详解二PS说明 ]

这里的详解一，仅有Flume的简单介绍和简单使用案例。
详解二请关注小编博客，查看Flume的栏目即可。