flume1.6.0安装配置

参考连接：https://segmentfault.com/a/1190000002532284，当然最好是参考官方英文文档。

系统环境：centos linux 64位系统，ip:10.34.11.65

安装配置

1、官网下载apache-flume-1.6.0-bin.tar.gz

2、 压缩包上传至/tmp目录，解压缩至/opt/目录

tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt/

3、配置flume的环境变量

修改/etc/profile文件

修改生效

source /etc/profile

尝试如下命令

flume-ng

将会看到flume脚本文档的使用情况。

示例

在/opt/ apache-flume-1.6.0-bin/conf目录创建example.conf文件，内容如下：

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动flume，在目录/opt/ apache-flume-1.6.0-bin下，运行flume

flume-ng  agent -c ./conf -f ./conf/example.conf -Dflume.root.logger=INFO,console -n a1

参数说明：

• -n 指定agent名称
• -c 指定配置文件目录
• -f 指定配置文件
• -Dflume.root.logger=DEBUG,console 设置日志等级

打开另一个连接终端，远程到44444端口，然后发送flume事件

telnet localhost 44444

启动flume的终端将会输出事件信息，如输入“flume”字符串时，原始终端输出如下信息：