一. Spark Streaming之日志收集框架Flume实战(一)

1.简介
    Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。它使用简单的可扩展数据模型，允许在线分析应用程序。

2.需求
    从指定网络端口采集数据到控制台
3.下载安装
如果你是centos系统通过以下命令直接下载:

wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gz

下载完成之后配置全局环境变量,打开根目录下的.bash_profile文件,在里面加上Flume的bin安装目录:

export FLUME_HOME=/root/app/apache-flume-1.6.0-cdh5.7.0-bin
export PATH=$FLUME_HOME/bin:$PATH

4.配置文件的搭建
在conf目录下创建一个example.conf的文件,在里面加上以下agent配置:

# Name the components on this agent
            a1.sources = r1
            a1.sinks = k1
            a1.channels = c1

            # Describe/configure the source
            a1.sources.r1.type = netcat
            # 绑定ip
            a1.sources.r1.bind = hadoop000
            # 监听端口
            a1.sources.r1.port = 44444

            # Describe the sink
            a1.sinks.k1.type = logger
            
            # Use a channel which buffers events in memory
            a1.channels.c1.type = memory

            # Bind the source and sink to the channel
            a1.sources.r1.channels = c1
            a1.sinks.k1.channel = c1

5.启动Flume

flume-ng agent --name a1 --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/example.conf -Dflume.root.logger=INFO,console

–name : 表示配置文件中agent的名字
–conf : 表示配置文件的所在目录(不包括本文件名)
–conf-file: 表示配置文件所在目录(包括本文件名)

启动成功会显示以下成功界面:

6.测试从指定端口采集数据到控制台

另外启动一个控制台通过telnet命令测试:

telnet hadoop000 44444

然后随便输入你想输出的字符:

会在监听的控制台显示你输入的字符串:

拓展:

Event: { headers:{} body: 77 6F 72 6C 64 0D                               world. }

Event 是flume数据传输的基本单元
Event = 可选的header + byte array

以上就完成了Flume的安装和基本使用,后面还会有复杂的更新。