Flume例子：使用netcat和exec作为信源，logger和file作为信宿，并分别为每对信源和信宿实现一个信道

一展身手：使用netcat和exec作为信源，logger和file作为信宿，并分别为每对信源和信宿实现一个信道：

（1）程序如下：保存为agentx.conf文件：

agentx.sources = netsource execsource

agentx.sinks = logsink filesink

agentx.channels = memorychannel1  memorychanne2

 

agentx.sources.netsource.type = netcat

agentx.sources.netsource.bind = 172.16.2.17

agentx.sources.netsource.port = 3000

 

agentx.sinks.logsink.type = logger

 

agentx.channels.memorychannel1.type = memory

agentx.channels.memorychannel1.capacity = 1000

agentx.channels.memorychannel1.transactionCapacity = 100

 

agentx.sources.netsource.channels = memorychannel1

agentx.sinks.logsink.channel = memorychannel1

 

agentx.sources.execsource.type = exec

agentx.sources.execsource.command = cat /home/hadoop/message

 

agentx.sinks.filesink.type = FILE_ROLL

agentx.sinks.filesink.sink.directory = /home/hadoop/flume/files

agentx.sinks.filesink.sink.rollInterval = 0

 

agentx.channels.memorychanne2.type = file

agentx.channels.memorychanne2.checkpointDir = /home/hadoop/flume/fc/checkpoint

agentx.channels.memorychanne2.dataDirs = /home/hadoop/flume/fc/data

 

agentx.sources.execsource.channels = memorychanne2

agentx.sinks.filesink.channel = memorychanne2

（2）将agentx.conf放到flume工作的相应位置，我的是 /usr/hadoop/flume目录下,然后执行命令：

[hadoop@Master flume]$ ls

agent1.conf  agent2.conf  agent3.conf  agentx.conf  conf  derby.log  logs

[hadoop@Master flume]$ flume-ng agent --conf conf --conf-file agentx.conf --name agentx

Info: Sourcing environment configuration script /usr/hadoop/flume/conf/flume-env.sh

Info: Including Hadoop libraries found via (/usr/hadoop/bin/hadoop) for HDFS access

Info: Excluding /usr/hadoop/libexec/../lib/slf4j-api-1.4.3.jar from classpath

Info: Excluding /usr/hadoop/libexec/../lib/slf4j-log4j12-1.4.3.jar from classpath

中间省略。。。

 

（3）然后在从机slave1中，通过telnet远程访问主机master，并输入命令（需要先安装telnet: 使用买了yum install -y telnet 进行安装即可）：

[hadoop@Slave1 ~]$ curl telnet://172.16.2.17:3000

Test from slave1

OK

about netcat and

OK

exec!

OK

^C

[hadoop@Slave1 ~]$ 

 

（4）查看log的输出：

05 Jan 2015 10:32:58,302 INFO  [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.LoggerSink.process:70)  - Event: { headers:{} body: 54 65 73 74 20 66 72 6F 6D 20 73 6C 61 76 65 31 Test from slave1 }

05 Jan 2015 10:33:07,306 INFO  [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.LoggerSink.process:70)  - Event: { headers:{} body: 61 62 6F 75 74 20 6E 65 74 63 61 74 20 61 6E 64 about netcat and }

05 Jan 2015 10:33:23,936 INFO  [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.LoggerSink.process:70)  - Event: { headers:{} body: 65 78 65 63 21                                  exec! }

（5）查看files的输出：

[hadoop@Master flume]$ cd /home/hadoop/flume/files/

[hadoop@Master files]$ ls

1420384890083-1  1420386984869-1  1420388077115-1  1420423829240-1

[hadoop@Master files]$ cat 1420423829240-1 

Hello netcat and exec Flume!