Flume环境搭建及主要的对接示例（超详细）

1.Flume简介

 1. Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
 2. 支持在日志系统中定制各类数据发送方，用于收集数据；
 3. 同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。
 4. 名词介绍：
Flume OG：Flume original generation,即Flume0.9x版本
Flume NG：Flume next generation，即Flume1.x版本
官网：http://flume.apache.org

2.Flume体系结构

1.Flume有一个简单、灵活的基于流的数据流结构
2.Flume具有故障转移机制和负载均衡机制
3.Flume使用一个简单可扩展的数据模型(source、channel、sink)
4.目前，flume-ng处理数据有两种方式：avro-client、agent
    avro-client：一次性将数据传输到指定的avro服务的客户端
    agent：一个持续传输数据的服务
5.Agent主要的组件包括：Source、Channel、Sink
    Source：完成对日志数据的手机，分成transtion和event打入到channel之中。
    Channel：主要提供一个队列的功能，对source提供的数据进行简单的缓存。
    Sink：取出Channel中的数据，进行相应的存储文件系统，数据库或是提交到远程服务器。
6.数据在组件传输的单位是Event。