2019-09-06 - Flume安装和测试

Flume简介

flume是由cloudera软件公司产出的可分布式日志收集系统，可以用来对多钟数据来源收集数据。

安装Flume

下载Flume压缩包

解压压缩包到指定文件夹

配置环境变量

启动配置文件修改

# a1 是 agent 名称,列出 agent 的 source，sink 和 channel
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# r1 是 source 的名称，设置 source 的 channel
a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /usr/local/data/data.log 
a1.sources.r1.shell = /bin/sh -c

# k1 是 sink 的名称,设置 sink 的类型
a1.sinks.k1.type = logger

# c1 是 channel 的名称，设置 channel的类型是内存。事件存储在具可配置最大大小的内存中队列中。它非常适合需要更高吞吐量的流量，并且在代理发生故障时准备丢失分阶段数据。
a1.channels.c1.type = memory

## Channel 中存储的最大事件数
a1.channels.c1.capacity = 1000
## 每个事件 Channel 从 Source 或提供给 Sink 的最大事件数
a1.channels.c1.transactionCapacity = 100

# 绑定 source 和 sink 到 channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

使用Flume

 bin/flume-ng agent --conf conf --conf-file conf/exec-memory-logger.conf --name a1 -Dflume.root.logger=INFO,console