Flume应用案例之从指定网络端口采集数据输出到控制台

紧接我的上一篇博客 分布式日志收集框架Flume环境安装部署
这里开始实践，讲一下flume的应用案例
从指定网络端口采集数据输出到控制台
还是先参考一下万能的官网
https://flume.apache.org/FlumeUserGuide.html

a1:agent名称
r1:数据源的名称
k1:sink的名称
c1:channel的名称

example.conf

#Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = zq
a1.sources.r1.port = 44444

#Describe the sink
a1.sinks.k1.type = logger

#Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

将这个配置好的文件传入conf文件夹下

启动agent：
如果以下参数不明白，可以输入flume-ng获取参数提示

先cd进入conf目录
依次执行以下命令

flume-ng agent \
--name a1 \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf/example.conf \
-Dflume.root.logger=INFO,console

最后一句是指定将日志信息打印在控制台上

可见各组件启动成功了
之所以没有日志信息打印在控制台上面，是因为我们唯一选定监听的44444端口没有日志信息
现在模拟一下：
再开一个控制台，
依次执行

ssh [email protected]
telnet zq 44444

如果telnet显示命令找不到，则需要安装telnet
安装telnet，详情见这位博主的相关博客　https://blog.csdn.net/weixin_39371711/article/details/80402665
以上都完成以后，用telnet进行测试如下

清晰可见，测试成功了！
flume框架收集到了监听端口44444的日志信息
分析日志信息如下：
Event: { headers:{} body: 77 65 6C 63 6F 6D 65 20 66 6C 75 6D 65 21 21 21 welcome flume!!! }
Event是Flume里面数据传输的基本单元
Event　＝　可选的header + byte array