flume 1.8 详解

Flume日志采集框架

一、准备

1. 安装好对应版本的hadoop集群

二、主题

本堂课主要围绕flume的知识点进行讲解。主要包括以下几个方面

1. flume的核心概念
2. flume的应用场景
3. flume的安装部署
4. flume的企业案例

三、目标

1. 掌握flume的应用场景
2. 掌握flume中常用的source、channel、sink使用
3. 掌握flume的企业案例

四、知识要点

1. Flume是什么

	在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架。

• Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统
• Flume支持在日志系统中定制各类数据发送方，用于收集数据；
• Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。