E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
flume-ng
Flume-ng
的原理和使用
1.介绍FlumeNG是Cloudera提供的一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的FlumeOG到现在的FlumeNG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本。经过架构重构后,FlumeNG更像是一个轻量的小工具,非常简单,容易适应各种方式日志收集,并支持failover和负载均衡。F
张欢19933
·
2016-01-20 16:00
Flume-ng的原理和使用
cloudera manager 及CDH卸载
记录用户数据路径删除用户数据 中列出的用户数据路径 /var/lib/
flume-ng
/var/lib/hadoop*/var/lib/hue/var/lib/navigator/var/lib/oozie
黛玉他哥
·
2016-01-20 09:00
Flume
当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称
Flume-ng
。由于Flume-
fuchao1
·
2016-01-17 16:31
日志
flume初探 日志收集之
flume-ng
源码分析
flumeNG核心概念EventClientAgentSourceChannelSinka.Event是Flume数据传输的基本单元。b.Flume以事件的形式将数据从源头传输到最终的目的地(如HDFS)。c.Event可由可选的header和载有数据的一个bytearray构成。d.Client是一个将原始log包装成 Events并且发送它们到一个或多个Agent实体。e.Client在Flu
八戒_o
·
2016-01-12 14:00
flume初探
flume-ng
简单介绍
flume官网:http://flume.apache.org/FlumeUserGuide.html先把flume做一个简单的比喻帮助理解:有一个池子,它一头进水,另一头出水,进水口可以配置各种管子,出水口也可以配置各种管子,可以有多个进水口、多个出水口,水术语称为Event,进水口术语称为Source、出水口术语成为Sink、池子术语成为Channel,Source+Channel+Sink,
糖糖_
·
2015-11-26 11:39
flume
Flume-1.6.0学习笔记(二)
flume-ng
脚本介绍
Flume-NG
的启动脚本文
flume-ng
[hadoop@nnode bin]$
flume-ng
Error: Unknown or unspecified command '' Usage: /
luchunli1985
·
2015-11-18 23:48
agent
Flume-1.6.0学习笔记(二)
flume-ng
脚本介绍
Flume-NG
的启动脚本文
flume-ng
[hadoop@nnode bin]$
flume-ng
Error: Unknown or unspecified command '' Usage: /
luchunli1985
·
2015-11-18 23:48
agent
Flume 实战(1) -- 初体验
前言:
Flume-ng
是数据收集/聚合/传输的组件,
Flume-ng
抛弃了Flume OG原本繁重的zookeeper和Master, Collector, 其整体的架构更加的简洁和明了.
·
2015-11-13 10:25
Flume
【Java】【Fulme】
Flume-NG
源代码阅读之SpoolDirectorySource
org.apache.flume.source.SpoolDirectorySource是flume的一个经常使用的source,这个源支持从磁盘中某目录获取文件数据。不同于其它异步源,这个源可以避免重新启动或者发送失败后数据丢失。flume可以监控目录,当出现新文件时会读取该文件并获取数据。当一个给定的文件被所有读入到通道中时,该文件会被
·
2015-11-12 17:30
Directory
大数据分析的一些搜集。
Hadoop Analysis of Apache Logs Using
Flume-NG
, Hive and Pig http://cuddletech.com/blog/?
·
2015-11-11 08:24
数据分析
flume 1.4 设置FLUME_CONF_DIR没用
今天安装Apache Flume 1.4的时候,发现设置了FLUME_CONF_DIR环境变量和flume-env.sh后,运行
flume-ng
时flume-env.sh中的JAVA_HOME没有生效,
·
2015-11-11 03:39
Flume
使用
flume-ng
聚合双活Nginx日志
前不久使用Keepalived搭建了Nginx双活代理服务器,以达到一个公网IP后支持多个云主机的多个域名网站的目的。完成后又想在这双活的Nginx上有所有访问网站的日志,之前有了解过Google Analytics, 及一些日志分析系统。后来终于找到并部署了几个开源的分析系统,包括AWStats,JAWStats及Piwik。使用它发现有一个问题比较烦,就是如何将2个Nginx的日志发送到分析服
·
2015-11-08 13:33
nginx
java.lang.UnsupportedClassVersionError:Unsupported major.minor version 51.0
今天在配置
flume-ng
时出现这样的错误:03Nov201516:50:11,147ERROR[conf-file-poller-0](org.apache.flume.node.PollingPropertiesFileConfigurationProvider
351102319yang
·
2015-11-04 14:57
jdk1.7
flume-ng
java.lang.UnsupportedClassVersionError:Unsupported major.minor version 51.0
今天在配置
flume-ng
时出现这样的错误:03Nov201516:50:11,147ERROR[conf-file-poller-0](org.apache.flume.node.PollingPropertiesFileConfigurationProvider
351102319yang
·
2015-11-04 14:57
jdk1.7
flume-ng
Flume-NG
启动过程源码分析(三)(原创)
上一篇文章分析了Flume如何加载配置文件的,动态加载也只是重复运行getConfiguration()。 本篇分析加载配置文件后各个组件是如何运行的? 加载完配置文件订阅者Application类会收到订阅信息执行: @Subscribe public synchronized void handleConfigurationEvent(MaterializedCo
·
2015-11-02 10:00
Flume
Spark Streaming和
Flume-NG
对接实验
Spark Streaming是一个新的实时计算的利器,而且还在快速的发展。它将输入流切分成一个个的DStream转换为RDD,从而可以使用Spark来处理。它直接支持多种数据源:Kafka, Flume, Twitter, ZeroMQ , TCP sockets等,有一些可以操作的函数:map, reduce, join, window等。 本文将Spa
·
2015-11-01 09:01
Stream
Flume-NG
(1.5版本)中SpillableMemoryChannel源码级分析
SpillableMemoryChannel是1.5版本新增的一个channel。这个channel优先将evnet放在内存中,一旦内存达到设定的容量就使用file channel写入磁盘。然后读的时候会按照顺序读取:会通过一个DrainOrderQueue来保证不管是内存中的还是溢出(本文的“溢出”指的是内存channel已满,需要使用file channel存储数据)文件中的顺序。这个Ch
·
2015-11-01 09:00
channel
数据采集工具flume
2012年,flume项目从孵化器变成了顶级项目,在孵化的这一年中,开发人员就已经开始基于Star Trek Themed标签对flume进行重构,并创建了
flume-NG
(Flume the next
·
2015-10-31 18:47
Flume
Flume-NG
源码阅读之SpoolDirectorySource(原创)
org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source,这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源,这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹,当出现新文件时会读取该文件并获取数据。当一个给定的文件被全部读入到通道中时,该文件会被重命名以标志已经完成。同时,该源需要一个清理进程来定期移除
·
2015-10-31 10:48
Directory
Flume-NG
源码阅读之HBaseSink
关于HBase的sink的所有内容均在org.apache.flume.sink.hbase包下。 每个sink包括自己定制的,都extends AbstractSink implements Configurable。 一、首先是configure(Context context)方法。该方法是对HBaseSink的参数初始化。主要包括以下几个: tableName:要写入
·
2015-10-31 10:48
hbase
Flume-NG
启动过程源码分析(二)(原创)
在上一节中讲解了——
Flume-NG
启动过程源码分析(一)(原创) 本节分析配置文件的解析,即PollingPropertiesFileConfigurationProvider.FileWatcherRunnable.run
·
2015-10-31 10:48
Flume
Flume-NG
启动过程源码分析(一)(原创)
从bin/flume 这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类,这是flume的main函数所在。 main方法首先会先解析shell命令,如果指定的配置文件不存在就甩出异常。 根据命令中含有"no-reload-conf"参数,决定采用那种加载配置文件方式:一、没有此参数,会动态加载配置文
·
2015-10-31 10:48
Flume
flume-ng
源码阅读RollingFileSink(原创)
org.apache.flume.sink.RollingFileSink 这个类比较简单。 source的种类有两种:一种是PollableSource;另外一种是EventDrivenSource。前者“必须有它自己的callback机制,该机制用于捕获新数据并将数据存储到通道中”,后者“不是由其自身的线程驱动”。在自定义source时,前者必须要实现process
·
2015-10-31 10:47
Flume
Flume
www.iteblog.com/archives/1043 http://www.iteblog.com/archives/908 http://www.iteblog.com/archives/1034 In
flume-ng
's
·
2015-10-31 09:48
Flume
Flume-NG
源码阅读之AvroSink
org.apache.flume.sink.AvroSink是用来通过网络来传输数据的,可以将event发送到RPC服务器(比如AvroSource),使用AvroSink和AvroSource可以组成分层结构。它继承自AbstractRpcSink extends AbstractSink implements Configurable这跟其他的sink一样都得exte
·
2015-10-31 09:45
Flume
Flume-NG
源码阅读之SinkGroups和SinkRunner
在AbstractConfigurationProvider类中loadSinks方法会调用loadSinkGroups方法将所有的sink和sinkgroup放到了Map<String, SinkRunner> sinkRunnerMap之中。 SinkRunner可能对应一个sink也可能对应一个sinkgroup。因为如果配置文件中有sinkgroup则这个sinkgr
·
2015-10-31 09:45
Runner
Flume-NG
源码阅读之SourceRunner,及选择器selector和拦截器interceptor的执行
在AbstractConfigurationProvider类中loadSources方法会将所有的source进行封装成SourceRunner放到了Map<String, SourceRunner> sourceRunnerMap之中。相关代码如下: 1 Map<String, String> selectorConfig = context.ge
·
2015-10-31 09:45
Interceptor
Flume-NG
源码阅读之FileChannel
FileChannel是flume一个非常重要的channel组件,非常常用。这个channel非常复杂,涉及的文件更多涉及三个包:org.apache.flume.channel.file、org.apache.flume.channel.file.encryption(加密)、org.apache.flume.channel.file.proto共计40个源码文件。 一、config
·
2015-10-31 09:45
FileChannel
Flume-NG
源码阅读之Interceptor(原创)
有的时候希望通过Flume将读取的文件再细分存储,比如讲source的数据按照业务类型分开存储,具体一点比如类似:将source中web、wap、media等的内容分开存储;比如丢弃或修改一些数据。这时可以考虑使用拦截器Interceptor。 flume通过拦截器实现修改和丢弃事件的功能。拦截器通过定义类继承org.apache.flume.interceptor.Intercepto
·
2015-10-31 09:44
Interceptor
flume-ng
源码阅读memory-channel(原创)
org.apache.flume.channel.MemoryChannel类是
Flume-NG
的memory-channel。
·
2015-10-31 09:44
channel
Flume-NG
源码阅读之HDFSEventSink
HDFSEventSink是flume中一个很重要的sink,配置文件中type=hdfs。与此sink相关的类都在org.apache.flume.sink.hdfs包中。 HDFSEventSink算是一个比较复杂的sink,包下涉及的源代码文件数多达13个。。。可配置的参数众多。。。希望我能讲清楚。 一、首先依然是看configure(Context context)方法,用
·
2015-10-31 09:44
event
Flume-NG
中的Channel与Transaction关系(原创)
在sink和source中(不管是内置还是自定义的),基本都有如下代码,这些代码在sink中的process方法中,而在source中自己不需要去写,在source中getChannelProcessor().processEventBatch(events)方法中会自动创建下面类似的: ... Channel channel = getChannel();
·
2015-10-31 09:44
transaction
flume-ng
启动过程源码分析
通过bin/
flume-ng
脚本可以看到Flume启动的入口是org.apache.flume.node.Application类,那么就从Application类开始研究。
super_yu
·
2015-10-29 14:00
源码
Flume
启动
日志收集
大数据前期准备---List
最终通过“
flume-ng
”指令验证Flume是否安装成功5.安装Sqoop并连接到MySQL在Linux环境下安装并配置Sqoop和MySQLConnect
alive2012
·
2015-10-29 12:00
大数据
Flume-NG
之KafkaChannel
apache下一个版本(1.6)将会带来一个新的组件KafKaChannel,顾名思义就是使用kafka做channel,当然在CDH5.3版本已经存在这个channel。 大伙知道,常用的channel主要有三个: 1、memory channel:用内存做channel,优点是速度最快,容易配置;缺点是,可靠性最差,因为一旦flume进程挂了内存中还未出来的数据也就没了;
·
2015-10-27 16:37
channel
记
Flume-NG
一些注意事项(不定时更新,欢迎提供信息)
这里只考虑flume本身的一些东西,对于JVM、HDFS、HBase等得暂不涉及。。。。 一、关于Source: 1、spool-source:适合静态文件,即文件本身不是动态变化的; 2、avro source可以适当提高线程数量来提高此source性能; 3、ThriftSource在使用时有个问题需要注意,使用批量操作时出现异常并不会打印异
·
2015-10-27 16:36
Flume
修改
Flume-NG
的hdfs sink解析时间戳源码大幅提高写入性能
Flume-NG
中的hdfs sink的路径名(对应参数"hdfs.path",不允许为空)以及文件前缀(对应参数"hdfs.filePrefix")支持正则解析时间戳自动按时间创建目录及文件前缀
·
2015-10-27 16:36
Flume
Flume-NG
内置计数器(监控)源码级分析
Flume的内置监控怎么整?这个问题有很多人问。目前了解到的信息是可以使用Cloudera Manager、Ganglia有图形的监控工具,以及从浏览器获取json串,或者自定义向其他监控系统汇报信息。那监控的信息是什么呢?就是各个组件的统计信息,比如成功接收的Event数量、成功发送的Event数量,处理的Transaction的数量等等。而且不同的组件有不同的Countor来做统计,目前直
·
2015-10-27 16:35
Flume
Flume-NG
中Transaction并发性探究
我们曾经在
Flume-NG
中的Channel与Transaction关系(原创)这篇文章中说了channel和Transaction的关系,但是在source和sink中都会使用Transaction
·
2015-10-27 16:35
transaction
Flume 从入门到实时日志采集实例
#
flume-ng
初始配置bin/flume-ngagent--confconf--conf-fileexample.conf--namea1-Dflume.root.logger=INFO,console
doegoo
·
2015-10-27 15:33
cloudera
flume
Flume 从入门到实时日志采集实例
#
flume-ng
初始配置bin/flume-ngagent--confconf--conf-fileexample.conf--namea1-Dflume.root.logger=INFO,console
doegoo
·
2015-10-27 15:00
Flume
实例
Flume-NG
+ HDFS + HIVE 日志收集分析
在收集TB级别的日志量上
flume-ng
是更好的选择,因为后面的存储是扩展性极佳的HDFS。
·
2015-10-27 13:28
Flume
Flume-ng+Kafka+storm的学习笔记
Flume-ng
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
·
2015-10-27 13:13
storm
大数据工具篇之flume1.4-安装部署指南
一、引言
flume-ng
是一个分布式、高可靠和高效的日志收集系统,
flume-ng
是flume的新版本的意思,其中“ng”意为new generate(新一代),目前来说,
flume-ng
1.4
·
2015-10-27 12:57
Flume
flume-ng
1.5.0安装部署
1.安装环境:jdk1.7,flume-ng-1.5.0.tar.gz2.解压flume-ng-1.5.0.tar.gz tar zxf flume-ng-1.5.0.tar.gz3.修改flume配置,指定JAVA_HOME,FLUME_HOMEvi flume-env.sh JAVA_HOME=/usr/java/jdk1.7.0_71 vi ~/.bashrc export FLUME
super_yu
·
2015-10-26 18:00
使用flume的一个例子
/
flume-ng
agent -n agent-1 -c conf -f /home/yaxiaohu/flumeconf/evantest.conf 以
·
2015-10-21 12:26
Flume
flume kafka storm常用命令
Flume#flume启动bin/
flume-ng
agent -n fks -c conf/ -fconf/ytconf/fks/fks001.conf -Dflume.root.logger=INFO
General_du
·
2015-10-10 16:00
flume-ng
的CPU高消耗定位及改进
公司用的
flume-ng
采集数据,数据源是日志文件,然后通过正则表达式来过滤指定日志,最后发送给kafka。使用的是apache-flume-ng1.6.0版本。
郑浩锋
·
2015-10-10 15:00
kafka
Flume
regex
selector
flume+kafka+hdfs详解
flume架构图单节点flume配置flume-1.4.0 启动flumebin/
flume-ng
agent --conf .
jethai
·
2015-10-03 19:55
flume+kafka+hdfs详解
flume架构图单节点flume配置flume-1.4.0启动flumebin/
flume-ng
agent --conf .
jethai
·
2015-10-03 19:55
Hadoop/CDH
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他