大数据集群搭建（8）——Flume的单节点安装及使用

1.Flume的安装

1.1.创建flume文件夹，上传并解压安装包

cd /usr

mkdir flume

cd flume

rz（选中上传准备好的 flume安装包）

tar –zxvf xxxxxxxx

1.2.修改配置文件

1.2.1.修改flume-env.sh文件

[root@master conf]# mv flume-env.sh.template  flume-env.sh

export JAVA_HOME=/usr/etc/jdk1.8.0_181

(将文件中的#注释去掉，注意前面不要有空格)

1.2.2.修改flume.conf文件（新建文件）

# 指定Agent的组件名称

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

# 指定Flume source(要监听的路径)

a1.sources.r1.type = spooldir

#先创建这个目录

a1.sources.r1.spoolDir = /logs      

 

# 指定Flume sink

a1.sinks.k1.type = logger

 

# 指定Flume channel

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# 绑定source和sink到channel上

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

1.3.启动flume

bin/flume-ng agent -n a1 -c conf -f conf/文件名 -Dflume.root.logger=INFO,console

参数	作用	举例
–conf 或 -c	指定配置文件夹，包含flume-env.sh和log4j的配置文件	–conf conf
–conf-file 或 -f	配置文件地址	–conf-file conf/flume.conf
–name 或 -n	agent名称	–name a1
-z	zookeeper连接字符串	-z zkhost:2181,zkhost1:2181
-p	zookeeper中的存储路径前缀	-p /flume

1.4.测试

再开一个终端，向/logs（监控目录）里面添加文件，观察flume

2.使用flume监听文件

2.1.修改flume2.conf文件（新建文件）

# 指定Agent的组件名称

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

# 指定Flume source(要监听的路径)

#指定文件类型

a1.sources.r1.type = exec

#指定文件

a1.sources.r1.command = tail -F  /a.log

 

# 指定Flume sink

a1.sinks.k1.type = logger

 

# 指定Flume channel

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# 绑定source和sink到channel上

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

2.2.启动flume

bin/flume-ng agent -n a1 -c conf -f conf/文件名 -Dflume.root.logger=INFO,console

2.3.测试

再开一个终端，向/a.log（监控文件）里面添加内容，观察flume