寒假6

今天学习大数据采集和导入

任何完整的数据平台一般都有以下几个过程:

数据采集 数据储存 数据管理 输出处理 数据展现 

flume架构

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。

寒假6_第1张图片

 

 了解 flume源 flume拦截器 通道选择器 通道 接收器

你可能感兴趣的:(寒假6)