Flume介绍之概念

背景

        Flume是由Cloudera公司开源的,分布式可靠高可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动、最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本,经过架构重构后,Flume NG更像是一个轻量级的小工具,适应各种方式的日志收集,并支持failover负载均衡

版本

     两个版本:Flume OG和Flume NG

     Flume OG:0.9.x或cdh3以及更早的版本,由agent、collector、master等组件构成

     Flume NG:1.x或cdh4以及之后的版本,由Agent、client等组件构成

     Flume OG存在的问题:

             1.代码工程臃肿

             2.核心组件设计不合理

             3.核心配置不标准

             4.日志传输不稳定

  Flume NG的特点:

            1.NG只有一种角色的节点:代理节点(Agent)

            2.没有collector,master节点,这是核心组件最核心的变化

            3.去除了physical nodes,local nodes 的概念和相关内容

            4.agent节点的组成也发生了变化,脱离了zookeeper

架构设计

Flume介绍之概念_第1张图片

          

架构优势

       NG在核心组件上进行了大规模的调整

       大大地降低了对用户的要求,如用户无需搭建zookeeper集群

        用户也不用纠结于OG的模糊概念

        有利于Flume和其他技术、hadoop周边组件的整合

        在功能上更加强大、可扩展性更高

组件

        Event:一个数据单元,带有一个可选的消息头

       Client:是一个将原始log包装成events并且发送它们到一个或多个agent的实体,在flume的拓扑结构中不是必须的

       Agent:一个独立的flume进程包含组件source,channel,sink,其他组件,它利用这些组件将events从一个节点传输到另一个节点或最终目的,是flume流的基础部分

             Source:负责接收event或通过特殊机制产生event,并将events批量的放到一个或多个Channel,必须至少和一个channel关联

             Channel:中转Event的一个临时存储,保存有source组件传递过来的Event,当sink成功的将event发送到下一个channel或最终目的,event从Channel移除,不同的channel提供的持久化水平是不一样的

             Sink:负责将event传输到下一跳或最终目的,成功后将event从channel移除必须作用一个确切的channel

        其他组件:

              Interceptor:

                  作用于source,按照预设的顺序在必要的地方装饰和过滤events

             Channel Selector :

                  允许source基于预设的标准,从所有的channel中,选择一个或多个Channel

             Sink Processor

                   多个sink可以构成一个sink group,Sink Processor 可以通过组中所有sink实现负载均衡,也可以在一个sink失败时转移到另一个

      Flow:Event从源点到达目的点的迁移的抽象

配置实例

        注意:同一个Source可以将数据存储到多个Channel,实际上是Replication,一个sink只能从一个Channel中读取数据

     1.多个Agent顺序连接

          

Flume介绍之概念_第2张图片

可以将多个Agent顺序连接起来,将最初的数据源经过收集,存储到最终的存储系统,应该控制这种顺序连接的Agent的数量,因为数据流经的路径变长了,如果不考虑failover的话,出现故障将影响整个Flow上的Agent收集服务

     2.多个Agent的数据汇聚到同一个Agent

             

Flume介绍之概念_第3张图片

       这种情景应用的场景比较多,比如要收集Web网站的用户行为日志,Web网站为了可用性使用的负载均衡的集群模式,每个节点都产生用户行为日志,可以为每个节点都配置一个Agent来单独收集日志数据,然后多个Agent将数据最终汇聚到一个用来存储数据存储系统,如HDFS上

     3.多路Agent

           

Flume介绍之概念_第4张图片

          这种模式,有两种方式,一种是用来复制,另一种是用来分流

          配置文件中指定selector的type的值为replication:复制

         配置文件中指定selector的type的值为Multiplexing:分流


实现load balance功能

        

Flume介绍之概念_第5张图片


                  a1.sinkgroups = g1

                 a1.sinkgroups.g1.sinks = k1 k2 k3

                 a1.sinkgroups.g1.processor.type = load_balance

                 a1.sinkgroups.g1.processor.backoff= true

                 a1.sinkgroups.g1.processor.selector = round_robin

                a1.sinkgroups.g1.processor.selector.maxTimeOut = 10000

实现failover功能

               Failover Sink Processor 能够实现failover功能,具体流程类似load balance,但是内部处理机制与load balance完全不一样:Failover Sink Processor维护一个优先级Sink组件的列表,只要有一个Sink可用,Event就被传递到下一个组件,如果一个sink能够成功处理Event,则会加入到一个Pool中,否则就被移除Pool并计算失败次数,设置一个惩罚因子

          a1.sinkgroups = g1

         a1.sinkgroups.g1.sinks = k1 k2 k3

         a1.sinkgroups.g1.processor.type = failover

         a1.sinkgroups.g1.processor.priority.k1=5

         a1.sinkgroups.g1.processor.priority.k2=6

        a1.sinkgroups.g1.processor.priority.k3=7

       a1.sinkgroups.g1.processor.maxpenalty=2000

快速进入安装配置: Flume介绍之安装配置 

你可能感兴趣的:(Flume介绍之概念)