flume网络端口 收集数据

1、在$FLUME_HOME/agentconf 目录下创建一个数据采集方案，该方案就是从一个网络端口收集数据，也就是创一个任意命名的配置文件如下：netcat-logger.properties文件内容如下：

# 定义这个 agent 中各个组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 描述和配置 source 组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 描述和配置 sink 组件：k1
a1.sinks.k1.type = logger
# 描述和配置 channel 组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 描述和配置 source channel sink 之间的连接关系
a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

2、启动 agent 去采集数据：

在$FLUME_HOME 下执行如下命令：

bin/flume-ng  agent  -c  conf  -f  agentconf/netcat-logger.properties  -n  a1  -Dflume.root.logger=INFO,console

其中，

-c conf 指定 flume 自身的配置文件所在目录；
-f conf/netcat-logger.con 指定我们所描述的采集方案；
-n a1 指定我们这个 agent 的名字；

3.测试

先要往 agent 的 source 所监听的端口上发送数据，让 agent 有数据可采。
例如在本机节点，使用 telnet localhost 44444 命令就可以输入两行数据：
hello huangbo

1 2 3 4

4.Flume-Agent 接收的结果：