Flume日志收集

[+]

1. 一Flume介绍
2. 设计目标
3. 二Flume架构
   1. 1 agent
   2. 2 collector
   3. 3storage
   4. 4Master
4. 三Flume分布式环境部署
   1. 实验场景
   2. Flume环境安装
   3. 选择一个或多个节点当做master
   5. 修改静态配置文件
   6. 启动集群

一、Flume介绍

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

设计目标：

(1) 可靠性

当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。），Store on failure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送），Best effort（数据发送到接收方后，不会进行确认）。

(2) 可扩展性

Flume采用了三层架构，分别为agent，collector和storage，每一层均可以水平扩展。其中，所有agent和collector由master统一管理，这使得系统容易监控和维护，且master允许有多个（使用ZooKeeper进行管理和负载均衡），这就避免了单点故障问题。

(3) 可管理性

所有agent和colletor由master统一管理，这使得系统便于维护。多master情况，Flume利用ZooKeeper和gossip，保证动态配置数据的一致性。用户可以在master上查看各个数据源或者数据流执行情况，且可以对各个数据源配置和动态加载。Flume提供了web 和shell script command两种形式对数据流进行管理。

(4) 功能可扩展性

用户可以根据需要添加自己的agent，collector或者storage。此外，Flume自带了很多组件，包括各种agent（file， syslog等），collector和storage（file，HDFS等）。

二、Flume架构

flume的逻辑架构：

正如前面提到的，Flume采用了分层架构：分别为agent，collector和storage。其中，agent和collector均由两部分组成：source和sink，source是数据来源，sink是数据去向。

Flume使用两个组件：Master和Node，Node根据在Master shell或web中动态配置，决定其是作为Agent还是Collector。

(1) agent

agent的作用是将数据源的数据发送给collector。

Flume自带了很多直接可用的数据源（source），如：

• text(“filename”)：将文件filename作为数据源，按行发送
• tail(“filename”)：探测filename新产生的数据，按行发送出去
• fsyslogTcp(5140)：监听TCP的5140端口，并且接收到的数据发送出去
• tailDir("dirname"[, fileregex=".*"[, startFromEnd=false[, recurseDepth=0]]])：监听目录中的文件末尾，使用正则去选定需要监听的文件（不包含目录），recurseDepth为递归监听其下子目录的深度

更多可参见这位朋友的整理：http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/18/2050465.html

同时提供了很多sink，如：

• console[("format")] ：直接将将数据显示在consolr上
• text(“txtfile”)：将数据写到文件txtfile中
• dfs(“dfsfile”)：将数据写到HDFS上的dfsfile文件中
• syslogTcp(“host”,port)：将数据通过TCP传递给host节点
• agentSink[("machine"[,port])]：等价于agentE2ESink，如果省略，machine参数，默认使用flume.collector.event.host与flume.collector.event.port作为默认collecotr
• agentDFOSink[("machine" [,port])]：本地热备agent，agent发现collector节点故障后，不断检查collector的存活状态以便重新发送event，在此间产生的数据将缓存到本地磁盘中
• agentBESink[("machine"[,port])]：不负责的agent，如果collector故障，将不做任何处理，它发送的数据也将被直接丢弃
• agentE2EChain：指定多个collector提高可用性。 当向主collector发送event失效后，转向第二个collector发送，当所有的collector失败后，它会非常执着的再来一遍

更多可参见这位朋友的整理：http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/18/2050472.html

(2) collector

collector的作用是将多个agent的数据汇总后，加载到storage中。

它的source和sink与agent类似。

数据源（source），如：

• collectorSource[(port)]：Collector source，监听端口汇聚数据
• autoCollectorSource：通过master协调物理节点自动汇聚数据
• logicalSource：逻辑source，由master分配端口并监听rpcSink

sink，如：

• collectorSink( "fsdir","fsfileprefix",rollmillis)：collectorSink，数据通过collector汇聚之后发送到hdfs, fsdir 是hdfs目录，fsfileprefix为文件前缀码
• customdfs("hdfspath"[, "format"])：自定义格式dfs

(3) storage

storage是存储系统，可以是一个普通file，也可以是HDFS，HIVE，HBase，分布式存储等。

(4) Master

Master是管理协调agent和collector的配置等信息，是flume集群的控制器。

 

在Flume中，最重要的抽象是data flow（数据流），data flow描述了数据从产生，传输、处理并最终写入目标的一条路径。

1. 对于agent数据流配置就是从哪得到数据，把数据发送到哪个collector。
2. 对于collector是接收agent发过来的数据，把数据发送到指定的目标机器上。

注：Flume框架对hadoop和zookeeper的依赖只是在jar包上，并不要求flume启动时必须将hadoop和zookeeper服务也启动。

三、Flume分布式环境部署

1.实验场景

• 操作系统版本：RedHat 5.6
• Hadoop版本：0.20.2
• Jdk版本：jdk1.6.0_26
• 安装flume版本：flume-distribution-0.9.4-bin

部署flume在集群上，按照如下步骤：

1. 在集群上的每台机器上安装flume
2. 选择一个或多个节点当做master
3. 修改静态配置文件
4. 在至少一台机器上启动一个master ，所有节点启动flume node
5. 动态配置

需要在集群的每台机器上部署Flume。

注意：flume集群整个集群的网络环境要保证稳定，可靠，否则会出现一些莫名错误（比如：agent端发送不了数据到collector）。

1.Flume环境安装

$wget http://cloud.github.com/downloads/cloudera/flume/flume-distribution-0.9.4-bin.tar.gz
$tar -xzvf flume-distribution-0.9.4-bin.tar.gz
$cp -rf flume-distribution-0.9.4-bin /usr/local/flume
$vi /etc/profile  #添加环境配置
    export FLUME_HOME=/usr/local/flume
    export PATH=.:$PATH::$FLUME_HOME/bin
$source /etc/profile

$flume #验证安装

 

2.选择一个或多个节点当做master

对于master的选择情况，可以在集群上定义一个master，也可以为了提高可用性选择多个节点做为master。

• 单点master模式：容易管理，但在系统的容错和扩展性有缺陷
• 多点master模式：通常是运行3/5个master，能很好的容错

Flume master数量的选择原则：

      分布式的master能够继续正常工作不会崩溃的前提是正常工作的master数量超过总master数量的一半。

Flume master 的作用主要有两个：

• 跟踪各节点的配置情况，通知节点配置的改变；
• 跟踪来自flow的结尾操控在可靠模式下（E2E）的信息，以至于让flow的源头知道什么时候停止传输event。

 

3.修改静态配置文件

site-specific设置对于flume节点和master通过在每一个集群节点的conf/flume-site.xml是可配置的，如果这个文件不存在，设置的属性默认的在conf/flume­-conf.xml中，在接下来的例子中，在flume的节点上设置master名，让节点自己去寻找叫“master”的flume Master。

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl"  href="configuration.xsl"?>
    <configuration>
        <property>
            <name>flume.master.servers</name>
            <value>master</value>
         </property>
    </configuration>

在多master的情况下需要如下配置：

<property>
    <name>flume.master.servers</name>
   <value>hadoopmaster.com,hadoopedge.com,datanode4.com</value>
    <description>A comma-separated list of hostnames, one for each machine in the Flume Master.</description>
</property>
<property>
    <name>flume.master.store</name>
    <value>zookeeper</value>
    <description>How the Flume Master stores node configurations. Must be either 'zookeeper' or 'memory'.</description>
</property>
<property>
    <name>flume.master.serverid</name>
    <value>2</value>
    <description>The unique identifier for a machine in a Flume Master ensemble. Must be different on every master instance.</description>
</property>

注意：flume.master.serverid 属性的配置主要是针对master，集群上Master节点的flume.master.serverid 必须是不能相同的，该属性的值以0开始。

当使用agent角色时，你可以通过添加下面的配置文件在flume-conf.xml中，来设置默认的collector主机：

<property>
    <name>flume.collector.event.host</name>
    <value>collector</value>
    <description>This is the host name of the default "remote"  collector.</description>
</property>
<property>
    <name>flume.collector.port</name>
    <value>35853</value>
    <description>This default tcp port that the collector listens to in order to receive events it is collecting.</description>
</property>

关于配置可参见：http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/18/2050443.html。

 

4.启动集群

集群上节点启动：

1. 在命令行输入：flume master 启动master节点
2. 在命令行输入：flume node –n nodeName 启动其他节点，nodeName最好根据集群逻辑的划分来取名子，这样在 master进行配置的时候比较清晰。

名字规则自己定义，方便记忆和动态配置即可（后续会有介绍动态配置）

转载自:http://www.cnblogs.com/Leo_wl/archive/2012/05/25/2518716.html

http://www.cnblogs.com/oubo/archive/2012/05/25/2517751.html