Flume采集网络端口数据

1. Flume采集网络端口数据

1.1 定义flume的事件配置文件

flume-nc.properties

# flume-nc.conf: 用于监听网络数据的flume agent实例的配置文件
############################################
# 对各个组件的描述说明
# 其中a1为agent的名字
# r1是a1的source的代号名字
# c1是a1的channel的代号名字
# k1是a1的sink的代号名字
############################################
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 用于描述source的，类型是netcat网络
a1.sources.r1.type = netcat
# source监听的网络ip地址和端口号
a1.sources.r1.bind = mini01
a1.sources.r1.port = 44444

# 用于描述sink，类型是日志格式
a1.sinks.k1.type = logger


# 用于描述channel，在内存中做数据的临时的存储
a1.channels.c1.type = memory
# 该内存中最大的存储容量，1000个events事件
a1.channels.c1.capacity = 1000
# 能够同时对100个events事件监管事务
a1.channels.c1.transactionCapacity = 100

# 将a1中的各个组件建立关联关系，将source和sink都指向了同一个channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

• 启动agent(flume事件)

  flume-ng agent --name a1 --conf /opt/flume/conf --conf-file /opt/flume/conf/flume-nc.properties -Dflume.root.logger=INFO,console

• 启动agent(flume事件) ,简单化

  flume-ng agent --name a1 --conf-file /opt/flume/conf/flume-nc.properties

2. 安装nc(瑞士军刀)

rpm -ivh nc-1.84-22.el6.x86_64.rpm

监听端口: nc -lk 4444

连接主机的端口: nc host port