【Flume】

一、介绍

  • Flume是一个分布式的、可靠的、高可用的海量日志采集、聚合和传输的系统
  • 数据流模型:Source-Channel-Sink
  • 事务机制保证消息传递的可靠性
  • 内置丰富插件,轻松与其他系统集成
  • Java实现,优秀的系统框架设计,模块分明,易于开发

二、详解

1. 原理图

【Flume】_第1张图片

【Flume】_第2张图片

2. 组件 

【Flume】_第3张图片

                     【注意】一个Channel可以连接多个Source,而一个Channel却只是可以连接一个Sink。 

3. 事件

【Flume】_第4张图片

                      【注意】上述的header类似http请求的header。一般用来传递参数,写请求地址等等。

4. sources

【Flume】_第5张图片

5. Channels 

【Flume】_第6张图片

6. Sinks

【Flume】_第7张图片

 

三、原理图

【Flume】_第8张图片 Flume数据流

 

【Flume】_第9张图片 Flume数据流2

 

 四、Flume安装

1. 下载flume:wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.5.0-cdh5.3.6.tar.gz
2. 解压flume。
3. 修改conf/flume-env.sh文件,如果没有就新建一个

【Flume】_第10张图片

4. 添加flume的bin目录到环境变量中去。

5. 验证是否安装成功, flume-ng version

【Flume】_第11张图片

你可能感兴趣的:(【Flume】)