(1)flume-1.7.0 安装、配置、启动

(1)flume是什么

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。

flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

(2)flume下载安装

去官网http://flume.apache.org/download.html下载flume 这里下载的是1.7.0版本

我的工作目录为：/data/web/flume

(3)解压

tar zxvf apache-flume-1.7.0-bin.tar.gz

设置软连接ln -s apache-flume-1.7.0-bin flume

(4)安装jdk  

解压 tar zxvfjdk-7u80-linux-x64.tar.gz

设置软连接ln -s jdk1.7.0_80 jdk

(5)    修改配置文件配置jdk环境变量

mv flume-env.sh.template flume-env.sh 

vim flume-env.sh

(6)修改flume-conf.properties配置文件

mv flume-conf.properties.template flume-conf.properties && vimflume-conf.properties

(7)启动flume

cd  /data/web/flume/flume/bin目录

./flume-ng agent -c ../conf -f../conf/flume-conf.properties -n agent -Dflume.root.logger=INFO,console

(8)使用telnet测试

看到如下结果：

我们看到 flume已经将写入2345端口的数据 收集并通过LoggerSink组件写出，但是我们看到输出数据不完整，这是因为LoggerSink组件默认只输出16个字符的原因。