flume集群搭建

准备工作

• JDK
• flume

开始部署

解压flume，进入conf目录，配置JAVA_HOME

• flume-env.sh.template 名称更改为 flume-env.sh

# 配置自己的jdk路径
export JAVA_HOME=/opt/module/jdk1.8.0_231/

案例一，监控本机端口

1. 监控本机端口
2. 使用telnet工具向端口发送数据
3. 控制台打印收到的信息

• conf目录下新建配置文件example.conf

 #  a1表示agent的名称，可自定义

 # 为sources，sinks，channels设置别名
a1.sources = r1
a1.sinks = k1
a1.channels = c1

 # 配置sourses
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

 # 配置sinks
a1.sinks.k1.type = logger

 # 配置channels 
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

 # 关联channels
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

• 启动监控

bin/flume-ng agent --conf conf --conf-file conf/example.conf --name a1 -Dflume.root.logger=INFO,console

• 另外打开一个窗口
• 安装命令 yum install telnet

# 连接到44444端口，注意要先启动flume，否则会报错
telnet localhost 44444

• 成功监听到数据