1.介绍FlumeNG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的FlumeOG到现在的FlumeNG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，FlumeNG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。F

记录用户数据路径删除用户数据 中列出的用户数据路径 /var/lib/flume-ng/var/lib/hadoop*/var/lib/hue/var/lib/navigator/var/lib/oozie

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-

flumeNG核心概念EventClientAgentSourceChannelSinka.Event是Flume数据传输的基本单元。b.Flume以事件的形式将数据从源头传输到最终的目的地（如HDFS）。c.Event可由可选的header和载有数据的一个bytearray构成。d.Client是一个将原始log包装成 Events并且发送它们到一个或多个Agent实体。e.Client在Flu

flume官网：http://flume.apache.org/FlumeUserGuide.html先把flume做一个简单的比喻帮助理解：有一个池子，它一头进水，另一头出水，进水口可以配置各种管子，出水口也可以配置各种管子，可以有多个进水口、多个出水口，水术语称为Event，进水口术语称为Source、出水口术语成为Sink、池子术语成为Channel，Source+Channel+Sink，

Flume-NG的启动脚本文flume-ng[hadoop@nnode bin]$ flume-ng Error: Unknown or unspecified command '' Usage: /

Flume-NG的启动脚本文flume-ng[hadoop@nnode bin]$ flume-ng Error: Unknown or unspecified command '' Usage: /

前言: 　　Flume-ng是数据收集/聚合/传输的组件, Flume-ng抛弃了Flume OG原本繁重的zookeeper和Master, Collector, 其整体的架构更加的简洁和明了.

        org.apache.flume.source.SpoolDirectorySource是flume的一个经常使用的source，这个源支持从磁盘中某目录获取文件数据。不同于其它异步源，这个源可以避免重新启动或者发送失败后数据丢失。flume可以监控目录，当出现新文件时会读取该文件并获取数据。当一个给定的文件被所有读入到通道中时，该文件会被

Hadoop Analysis of Apache Logs Using Flume-NG, Hive and Pig http://cuddletech.com/blog/?

今天安装Apache Flume 1.4的时候，发现设置了FLUME_CONF_DIR环境变量和flume-env.sh后，运行flume-ng时flume-env.sh中的JAVA_HOME没有生效，

前不久使用Keepalived搭建了Nginx双活代理服务器，以达到一个公网IP后支持多个云主机的多个域名网站的目的。完成后又想在这双活的Nginx上有所有访问网站的日志，之前有了解过Google Analytics, 及一些日志分析系统。后来终于找到并部署了几个开源的分析系统，包括AWStats，JAWStats及Piwik。使用它发现有一个问题比较烦，就是如何将2个Nginx的日志发送到分析服

  今天在配置flume-ng时出现这样的错误：03Nov201516:50:11,147ERROR[conf-file-poller-0](org.apache.flume.node.PollingPropertiesFileConfigurationProvider

  今天在配置flume-ng时出现这样的错误：03Nov201516:50:11,147ERROR[conf-file-poller-0](org.apache.flume.node.PollingPropertiesFileConfigurationProvider

　　上一篇文章分析了Flume如何加载配置文件的，动态加载也只是重复运行getConfiguration()。 　　本篇分析加载配置文件后各个组件是如何运行的？ 　　加载完配置文件订阅者Application类会收到订阅信息执行： @Subscribe public synchronized void handleConfigurationEvent(MaterializedCo

　　Spark Streaming是一个新的实时计算的利器，而且还在快速的发展。它将输入流切分成一个个的DStream转换为RDD，从而可以使用Spark来处理。它直接支持多种数据源：Kafka, Flume, Twitter, ZeroMQ , TCP sockets等，有一些可以操作的函数：map, reduce, join, window等。 　　本文将Spa

　　SpillableMemoryChannel是1.5版本新增的一个channel。这个channel优先将evnet放在内存中，一旦内存达到设定的容量就使用file channel写入磁盘。然后读的时候会按照顺序读取：会通过一个DrainOrderQueue来保证不管是内存中的还是溢出(本文的“溢出”指的是内存channel已满，需要使用file channel存储数据)文件中的顺序。这个Ch

2012年，flume项目从孵化器变成了顶级项目，在孵化的这一年中，开发人员就已经开始基于Star Trek Themed标签对flume进行重构，并创建了flume-NG（Flume the next

　　org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source，这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源，这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹，当出现新文件时会读取该文件并获取数据。当一个给定的文件被全部读入到通道中时，该文件会被重命名以标志已经完成。同时，该源需要一个清理进程来定期移除

　　关于HBase的sink的所有内容均在org.apache.flume.sink.hbase包下。 　　每个sink包括自己定制的，都extends AbstractSink implements Configurable。 　　一、首先是configure(Context context)方法。该方法是对HBaseSink的参数初始化。主要包括以下几个： 　　tableName：要写入

　　在上一节中讲解了——Flume-NG启动过程源码分析（一）(原创)  本节分析配置文件的解析，即PollingPropertiesFileConfigurationProvider.FileWatcherRunnable.run

　　从bin/flume 这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类，这是flume的main函数所在。 　　main方法首先会先解析shell命令，如果指定的配置文件不存在就甩出异常。 　　根据命令中含有"no-reload-conf"参数，决定采用那种加载配置文件方式：一、没有此参数，会动态加载配置文

org.apache.flume.sink.RollingFileSink    这个类比较简单。 source的种类有两种：一种是PollableSource；另外一种是EventDrivenSource。前者“必须有它自己的callback机制，该机制用于捕获新数据并将数据存储到通道中”，后者“不是由其自身的线程驱动”。在自定义source时，前者必须要实现process

www.iteblog.com/archives/1043 http://www.iteblog.com/archives/908 http://www.iteblog.com/archives/1034 In flume-ng's

　　org.apache.flume.sink.AvroSink是用来通过网络来传输数据的，可以将event发送到RPC服务器（比如AvroSource），使用AvroSink和AvroSource可以组成分层结构。它继承自AbstractRpcSink  extends AbstractSink implements Configurable这跟其他的sink一样都得exte

　　在AbstractConfigurationProvider类中loadSinks方法会调用loadSinkGroups方法将所有的sink和sinkgroup放到了Map<String, SinkRunner> sinkRunnerMap之中。 　　SinkRunner可能对应一个sink也可能对应一个sinkgroup。因为如果配置文件中有sinkgroup则这个sinkgr

　　在AbstractConfigurationProvider类中loadSources方法会将所有的source进行封装成SourceRunner放到了Map<String, SourceRunner> sourceRunnerMap之中。相关代码如下： 1 　　　　　　Map<String, String> selectorConfig = context.ge

　　FileChannel是flume一个非常重要的channel组件，非常常用。这个channel非常复杂，涉及的文件更多涉及三个包：org.apache.flume.channel.file、org.apache.flume.channel.file.encryption(加密)、org.apache.flume.channel.file.proto共计40个源码文件。 　　一、config

　　有的时候希望通过Flume将读取的文件再细分存储，比如讲source的数据按照业务类型分开存储，具体一点比如类似：将source中web、wap、media等的内容分开存储；比如丢弃或修改一些数据。这时可以考虑使用拦截器Interceptor。 　　flume通过拦截器实现修改和丢弃事件的功能。拦截器通过定义类继承org.apache.flume.interceptor.Intercepto

org.apache.flume.channel.MemoryChannel类是Flume-NG的memory-channel。

　　HDFSEventSink是flume中一个很重要的sink，配置文件中type=hdfs。与此sink相关的类都在org.apache.flume.sink.hdfs包中。 　　HDFSEventSink算是一个比较复杂的sink，包下涉及的源代码文件数多达13个。。。可配置的参数众多。。。希望我能讲清楚。 　　一、首先依然是看configure(Context context)方法，用

　　在sink和source中（不管是内置还是自定义的），基本都有如下代码，这些代码在sink中的process方法中，而在source中自己不需要去写，在source中getChannelProcessor().processEventBatch(events)方法中会自动创建下面类似的：　　 ... Channel channel = getChannel();

通过bin/flume-ng脚本可以看到Flume启动的入口是org.apache.flume.node.Application类，那么就从Application类开始研究。

最终通过“flume-ng”指令验证Flume是否安装成功5.安装Sqoop并连接到MySQL在Linux环境下安装并配置Sqoop和MySQLConnect

　　apache下一个版本(1.6)将会带来一个新的组件KafKaChannel，顾名思义就是使用kafka做channel，当然在CDH5.3版本已经存在这个channel。 　　大伙知道，常用的channel主要有三个： 　　1、memory channel：用内存做channel，优点是速度最快，容易配置；缺点是，可靠性最差，因为一旦flume进程挂了内存中还未出来的数据也就没了； 　

  这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。   一、关于Source： 　　1、spool-source：适合静态文件，即文件本身不是动态变化的； 　　2、avro source可以适当提高线程数量来提高此source性能； 　　3、ThriftSource在使用时有个问题需要注意，使用批量操作时出现异常并不会打印异

　　Flume-NG中的hdfs sink的路径名(对应参数"hdfs.path"，不允许为空)以及文件前缀(对应参数"hdfs.filePrefix")支持正则解析时间戳自动按时间创建目录及文件前缀

　　Flume的内置监控怎么整？这个问题有很多人问。目前了解到的信息是可以使用Cloudera Manager、Ganglia有图形的监控工具，以及从浏览器获取json串，或者自定义向其他监控系统汇报信息。那监控的信息是什么呢？就是各个组件的统计信息，比如成功接收的Event数量、成功发送的Event数量，处理的Transaction的数量等等。而且不同的组件有不同的Countor来做统计，目前直

　　我们曾经在Flume-NG中的Channel与Transaction关系(原创)这篇文章中说了channel和Transaction的关系，但是在source和sink中都会使用Transaction

#flume-ng初始配置bin/flume-ngagent--confconf--conf-fileexample.conf--namea1-Dflume.root.logger=INFO,console

#flume-ng初始配置bin/flume-ngagent--confconf--conf-fileexample.conf--namea1-Dflume.root.logger=INFO,console

在收集TB级别的日志量上flume-ng是更好的选择，因为后面的存储是扩展性极佳的HDFS。

Flume-ng Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。

一、引言 　　flume-ng是一个分布式、高可靠和高效的日志收集系统，flume-ng是flume的新版本的意思，其中“ng”意为new generate(新一代)，目前来说，flume-ng 1.4

1.安装环境：jdk1.7,flume-ng-1.5.0.tar.gz2.解压flume-ng-1.5.0.tar.gz tar zxf flume-ng-1.5.0.tar.gz3.修改flume配置，指定JAVA_HOME,FLUME_HOMEvi flume-env.sh JAVA_HOME=/usr/java/jdk1.7.0_71 vi ~/.bashrc export FLUME

/flume-ng agent -n agent-1  -c conf -f /home/yaxiaohu/flumeconf/evantest.conf 以

Flume#flume启动bin/flume-ng agent -n fks -c conf/ -fconf/ytconf/fks/fks001.conf -Dflume.root.logger=INFO

公司用的flume-ng采集数据，数据源是日志文件，然后通过正则表达式来过滤指定日志，最后发送给kafka。使用的是apache-flume-ng1.6.0版本。

flume架构图单节点flume配置flume-1.4.0 启动flumebin/flume-ng agent --conf .

flume架构图单节点flume配置flume-1.4.0启动flumebin/flume-ng agent --conf .