Flume 案例实操 - 监控端口数据

需求分析

首先，Flume监控本机44444端口，然后通过telnet工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台。

1. Flume监控本机的44444端口，通过Flume的souce端读取数据
2. 通过telnet工具向本机的44444端口发送数据
3. Flume将获取到的数据通过sink端输出到控制台

具体实现

安装telnet工具

将rpm软件包(xinetd-2.3.14-40.el6.x86_64.rpm、telnet-0.17-48.el6.x86_64.rpm和telnet-server-0.17-48.el6.x86_64.rpm)拷入/opt/software/telnet文件夹下面。
执行RPM软件包安装命令：

sudo rpm -ivh xinetd-2.3.14-40.el6.x86_64.rpm
sudo rpm -ivh telnet-0.17-48.el6.x86_64.rpm
sudo rpm -ivh telnet-server-0.17-48.el6.x86_64.rpm

检测端口是否被占用

sudo netstat -tunlp | grep 44444

Linux netstat命令用于显示网络状态。
利用netstat指令可让你得知整个Linux系统的网络情况。

-a (all)显示所有选项，netstat默认不显示LISTEN相关
-t (tcp)仅显示tcp相关选项
-u (udp)仅显示udp相关选项
-n 拒绝显示别名，能显示数字的全部转化成数字。(重要)
-l 仅列出有在 Listen (监听) 的服務状态

-p 显示建立相关链接的程序名(macOS中表示协议 -p protocol)
-r 显示路由信息，路由表
-e 显示扩展信息，例如uid等
-s 按各个协议进行统计 (重要)
-c 每隔一个固定时间，执行该netstat命令。

创建Flume Agent配置文件

在flume目录下创建job文件夹并进入job文件夹。

mkdir job
cd job/

创建Flume Agent配置文件flume-telnet-logger.conf

vim flume-telnet-logger.conf

具体配置如下：

# Name the components on this agent   #a1:表示agent的名称
a1.sources = r1             #r1:表示a1的输入源
a1.sinks = k1               #k1:表示a1的输出目的地
a1.channels = c1            #c1:表示a1的缓冲区

# Describe/configure the source
a1.sources.r1.type = netcat         #表示a1的输入源类型为netcat端口类型
a1.sources.r1.bind = localhost      #表示a1的输入源类型为netcat端口类型
a1.sources.r1.port = 44444          #表示a1的监听的端口号

# Describe the sink
a1.sinks.k1.type = logger           #表示a1的输出目的地是控制台logger类型

# Use a channel which buffers events in memory
a1.channels.c1.type = memory                #表示a1的channel类型是memory内存型
a1.channels.c1.capacity = 1000              #表示a1的channel总容量1000个event
a1.channels.c1.transactionCapacity = 100    #表示a1的channel传输时收集到了100条event以后再去提交事务

# Bind the source and sink to the channel
a1.sources.r1.channels = c1             #表示将r1和c1连接起来
a1.sinks.k1.channel = c1                #表示将k1和c1连接起来

测试

先开启flume监听端口

bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console

参数说明：

参数	实参	说明
–conf	conf/	表示配置文件存储在conf/目录
–name	a1	表示给agent起名为a1
–conf-file	job/flume-telnet.conf	flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。
-D	flume.root.logger=INFO,console	-D表示flume运行时动态修改

flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。

使用telnet工具向本机的44444端口发送内容

telnet localhost 44444

结果

参考

官方手册