Apache Flume 分布式日志收集系统学习

初步学习Apache Flume ,从两个方面总结。

第一方面:Apache Flume 有两个版本 Flume 0.9x和 Flume NG(new generation),Flume NG是对传统的Apache Flume的精简,去掉了 Master 和Collector两种角色,只保留了Agent 一种角色。数据流(Data Flow)描述了日志数据从产生,传输,处理到最后写入目的地的路径,它是 Flume 的最抽象模型。


Apache Flume 分布式日志收集系统学习_第1张图片

Flume 数据流模型


第二方面:为了有效的手机日志,系统实施时候需要在每个手机日志的服务器上安装相同版本的  Flume NG ,由于不同的网站选取的Web  server不同,为了对数据有效的收集,需要对每类设定一个或者多个 Agent,对收集的不同数据进行不同的处理。

Apache Flume 分布式日志收集系统学习_第2张图片

基于 Flume 的日志数据收集流程


你可能感兴趣的:(云计算)