大数据之Flume学习

Flume官网

AI + BigData + 云计算

定义

Flume 是 Cloudera 提供的一个高可用，高可靠，分布式的海量日志采集，聚合和传输的系统。Flume 基于流式架构，灵活简单。

组件

1.Agent

Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的

Agent 主要有 3 个部分组成：Source，Channel，Sink

2.Source

Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型，各种格式的日志数据，包括：avro，thrift，exec，jms，spooling directory，netcat，sequence generator，syslog，http，legacy

3.Sink

Sink 不断轮询 Channel 中的事件且批量移除它们，并将这些事件写入到存储或索引系统，或者发送到另一个 Flume Agent

Sink 组件目的地包括 hdfs，logger，avro，thrift，ipc，file，HBase，solr

4.Channel

Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运作在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个 Sink 的读取操作。

Flume 自带两种 Channel ：Memory Channel 和 File Channel 以及 Kafka Channel

Memory Channel 是内存中的队列。Memory Channel 在不需要关心数据丢失的情景下适用。如果需要关注数据丢失，那么 Memory Channel 就不应该使用，因为程序死亡，机器宕机都会导致数据丢失。

File Channel 将所有事件写到磁盘，因此程序关闭或者宕机情况下都不会丢失数据。

5.Event

传输单元 Flume 数据传输的基本单元，以 Event 的形式将数据从源头送至目的地。Event 由 Header 和 body 两部分组成，Header 用来存放该 Event的一些属性，以 K-V 结构，Body 用来存放该条数据，形式以字节数组。

案例

1.

案例一

需求： 监听文件内容变动，将新增加的内容输出到控制台。

实现： 主要使用 Exec Source 配合 tail 命令实现。

• 配置

新建配置文件 exec-memory-logger.properties,其内容如下：

#指定agent的sources,sinks,channels
a1.sources = s1  
a1.sinks = k1  
a1.channels = c1  
   
#配置sources属性
a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /tmp/log.txt
a1.sources.s1.shell = /bin/bash -c

#将sources与channels进行绑定
a1.sources.s1.channels = c1
   
#配置sink 
a1.sinks.k1.type = logger

#将sinks与channels进行绑定  
a1.sinks.k1.channel = c1  
   
#配置channel类型
a1.channels.c1.type = memory

• 启动

没太理解原文章的 --conf conf 是啥意思，所以启动的时候会报错如下

log4j:WARN No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

后来知道原来 conf 应该是 flume 的解压后主目录下的 conf (解决)

flume-ng agent -c /home/flume/apache-flume-1.9.0-bin/conf -f /home/flume/examples/exec-memory-logger.properties --name a1 -Dflume.root.logger=INFO,console

成功启动如下图：

2.