E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Flume-NG
Flume-ng
启动过程分析
Application.java入口函数main():... //加载flume的配置文件,初始化Sink,Source,Channel的工厂类 PropertiesFileConfigurationProviderconfigurationProvider= newPropertiesFileConfigurationProvider(agentName, configurationFile);
wsscy2004
·
2014-03-26 17:00
Flume
Flume-ng
出现HDFS IO error,Callable timed out异常
这两台
flume-ng
晚上9点~11点flume出现异常:25Mar201422:18:25,189ERROR[hdfs-thrift_hdfsSink-roll-timer-0](org.apache.flume.sink.hdfs.BucketWriter
wsscy2004
·
2014-03-26 15:00
hadoop
Flume
hdfs
关于
Flume-ng
那些事(四)
最后一章了,
flume-ng
的手册总是慢半拍,一些实例可以参考下手册总的图,会很有收获。
小运
·
2014-03-23 01:00
hadoop
flume-ng
关于
Flume-ng
那些事(二)
继续我们的测试。编辑flume.conf配置文件#Defineamemorychannelcalledch1onagent1 agent1.channels.ch1.type=memory #DefineanAvrosourcecalledavro-source1onagent1andtellit #tobindto0.0.0.0:41414.Connectittochannelch1. agen
小运
·
2014-03-23 01:00
hadoop
flume-ng
关于
Flume-ng
那些事(三)
agentA (10.1.124.197)agentB(10.1.124.196)agent(10.1.124.198)测试一agentA =>agentB从客户端推送数据到agentB,更改channel为jdbc 保证events数据可靠性。##weblogagentconfig agentA配置#Listsources,sinksandchannelsintheagentweblog-a
小运
·
2014-03-23 00:00
hadoop
flume-ng
关于
Flume-ng
那些事(一)
:),文章是去年2012年写的,现整理如下:介绍
Flume-ng
在官方网站上说的重大结构性调整,以至于调整的连相应文档也都精简了,缺少实例配置,也许这就所谓的
小运
·
2014-03-23 00:00
hadoop
flume-ng
Flume-ng
的HdfsSink出现Lease mismatch错误
多台Flume-ngAgent做HA,实际环境中出现Leasemismatch错误,具体报错如下:11Mar201412:21:02,971WARN[SinkRunner-PollingRunner-DefaultSinkProcessor]( org.apache.flume.sink.hdfs.HDFSEventSink.process:418)-HDFSIOerror java.io.IOE
wsscy2004
·
2014-03-17 14:00
flume-ng
多节点集群示例
步骤:两台电脑上分别装上jdk,
flume-ng
(不是flume-og),配置好profile。具体参见百度。agent的处理 (1)找到
flume-ng
安装目录下的c
不是柯西
·
2014-02-28 16:00
Flume
多节点
Flume-ng
ThriftSource原理分析
ThriftIDLFlumeThriftIDL在client包里面,定义如下:namespacejavaorg.apache.flume.thrift structThriftFlumeEvent{ 1:requiredmapheaders, 2:requiredbinarybody, } enumStatus{ OK, FAILED, ERROR, UNKNOWN } serviceThr
wsscy2004
·
2014-02-26 15:00
flume-ng
启动时遇到报错时的解决
在命令行下启动bin/
flume-ng
时,竟然遇到报错,找到如下解决办法 错误如下: bin/
flume-ng
: line 82: syntax error in conditional expression
vincentzhwg
·
2014-02-25 17:00
Flume
flume-ng
flume 1.4 安装
flume-ng1.4的安装
flume-ng
是一个分布式、高可靠和高效的日志收集系统,具体说明参看
flume-ng
使用指南:http://blog.csdn.net/zhu_xun/article/details
hxpjava1
·
2014-02-14 16:00
Flume-NG
+ HDFS + HIVE 日志收集分析
在收集TB级别的日志量上
flume-ng
是更好的选择,因为后面的存储是扩展性极佳的HDFS。
cnbird2008
·
2014-02-07 17:08
Flume-NG
+ HDFS + HIVE 日志收集分析
在收集TB级别的日志量上
flume-ng
是更好的选择,因为后面的存储是扩展性极佳的HDFS。
cnbird2008
·
2014-02-07 17:00
Flume-0.9.4数据插入HBase-0.96
正如前文所述,
flume-ng
即flume-1.4.0版本和hbase-0.96结合相对比较容易配置,只需要做一些相关配置,实现自己的HbaseEventSerializer类,重新编译flume-ng-hbase-sink
_iAm333
·
2014-01-25 18:40
HBase
Flume
HBase学习笔记
Flume-0.9.4数据插入HBase-0.96
正如前文所述,
flume-ng
即flume-1.4.0版本和hbase-0.96结合相对比较容易配置,只需要做一些相关配置,实现自己的HbaseEventSerializer类,重新编译flume-ng-hbase-sink
iAm333
·
2014-01-25 18:00
使用Flume Log4j Appender正确的姿势
使用FlumeLog4jAppender正确的姿势我们使用
Flume-ng
的LoadBalancingLog4jAppender,将线上服务的日志实时传输到日志服务器,转交给告警系统和HDFS做存储。
wsscy2004
·
2014-01-25 11:00
Flume
Flume-ng
将数据插入hbase-0.96.0
上文介绍过flume数据插入hdfs和普通目录,本文继续介绍
flume-ng
将数据插入hbase-0.96.0.首先,修改node中flume文件夹下conf目录中的flume-node.conf文件(
iAm333
·
2014-01-24 19:00
Flume-ng
配置
1)简介Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。设计目标:(1)可靠性当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先将event写到磁盘上,当数
iAm333
·
2014-01-24 18:00
大数据工具篇之flume1.4-安装部署指南
一、引言
flume-ng
是一个分布式、高可靠和高效的日志收集系统,
flume-ng
是flume的新版本的意思,其中“ng”意为newgenerate(新一代),目前来说,flume-ng1.4是最新的版本
张子良
·
2014-01-17 15:00
Flume-ng
agent配置说明
see: http://flume.apache.org/FlumeUserGuide.htmlConfigurationAsmentionedintheearliersection,FlumeagentconfigurationisreadfromafilethatresemblesaJavapropertyfileformatwithhierarchicalpropertysettings.D
chrischen214
·
2014-01-16 16:00
flume 1.4的介绍及使用示例
flume-ng
是flume的新版本的意思,其中“ng”意为newgenerate
u012875880
·
2013-12-13 09:00
Flume
Flume
1.4使用示例
1.4的介绍及使用示例
flume-ng+elasticsearch+kibana
在
flume-ng
,elasticsearch方案中使用kibana http://baniu.me/2013/01/kibana-in-flume/ ganglia elasticsearch
dengbenji
·
2013-11-25 14:00
elasticsearch
logstash
kibana
flume ng
Flume-ng
Exec “丢数据”
在解决了Flume-HDFS“丢数据”的问题(http://boylook.blog.51cto.com/7934327/1308188)后还听到抱怨说Flume还丢数据,如果说数据重复是可以理解的,我一直不理解为什么还丢呢?今天同事发现在agent端日志里一段异常:20Nov201310:15:54,231ERROR[pool-10-thread-1](org.apache.flume.sour
MIKE老毕
·
2013-11-22 18:10
Flume
source
exec
丢数据
Flume-ng
Exec “丢数据”
在解决了Flume-HDFS“丢数据”的问题(http://boylook.blog.51cto.com/7934327/1308188)后还听到抱怨说Flume还丢数据,如果说数据重复是可以理解的,我一直不理解为什么还丢呢?今天同事发现在agent端日志里一段异常:20Nov201310:15:54,231ERROR[pool-10-thread-1](org.apache.flume.sour
MIKE老毕
·
2013-11-22 18:10
exec
source
丢数据
Flume
Flume-ng
使用指南
Flume1.4.0UserGuideIntroductionOverviewApacheFlumeisadistributed,reliable,andavailablesystemforefficientlycollecting,aggregatingandmovinglargeamountsoflogdatafrommanydifferentsourcestoacentralizeddata
u012875880
·
2013-11-21 13:00
Flume
Flume-ng使用指南
1.4.0使用指南
Flume-ng
HDFS Sink “丢数据”
线上对Flume流入HDFS配置path:p1,每分钟切一个文件,定期从p1从move完成的(rename)文件到外部表进行计算分析,发现有“丢数据”现象:即在p1下经常看到几GB的.tmp文件,查看Flume日志发现当出现CallTimeoutException:HDFSIOERROR后,sink一直向.tmp写入,而不进行rename.FlumeHDFSSink正常写入流程见:http://b
MIKE老毕
·
2013-10-12 19:07
flume
hdfs
sink
Flume
Flume-ng
HDFS Sink “丢数据”
线上对Flume流入HDFS配置path:p1,每分钟切一个文件,定期从p1从move完成的(rename)文件到外部表进行计算分析,发现有“丢数据”现象:即在p1下经常看到几GB的.tmp文件,查看Flume日志发现当出现CallTimeoutException:HDFSIOERROR后,sink一直向.tmp写入,而不进行rename.FlumeHDFSSink正常写入流程见:http://b
MIKE老毕
·
2013-10-12 19:07
Flume
hdfs
sink
Flume-ng
:multi sink one channel两种配置方式的对比
根据https://issues.apache.org/jira/browse/FLUME-1479FLume默认支持多个sink消费一个Channel,细看Flume-1479发现它的行为类似于Flume支持的sinkgroupselector的loadbalance+roundrobin模式相似,那么有什么区别呢?看代码里一个主要区别就是,不通过selector的多对一(multisinkco
MIKE老毕
·
2013-10-12 14:23
Flume
Flume-ng
HDFS sink原理解析
http://boylook.itpub.net/post/43144/531408HDFSsink主要处理过程在process方法://循环batchSize次或者Channel为空for(txnEventCount=0;txnEventCountopen();//如果底层支持append,则通过open接口打开;否则create接口//判断是否进行日志切换//根据复制的副本书和目标副本数做对比
MIKE老毕
·
2013-09-18 11:25
Flume
hdfs
sink
Flume-ng
FileChannel原理解析
http://boylook.itpub.net/post/43144/531407对于Flume来说主要有两个Channel:Memory,File;对于线上环境主要以FileChannel为主,因此这里主要讨论它的实现:在FileChannel里主要由一个WAL的log和一个内存队列组成:FileChannel的Queue主要又以下几个部分组成:privatefinalEventQueueBa
MIKE老毕
·
2013-09-18 11:52
Flume
FileChannel
No appenders could be found for logger (org.apache.flume.node.Application).
/
flume-ng
agent -n a1 -c conf -f conf/flume-conf.properties + exec /usr/java/jdk1.6.0_30/bin/java -Xmx20m
hzxlb910
·
2013-08-19 15:00
application
Flume-NG
使用首记
第一步,配置Cloudera-CDH4软件源,见Cloudera官网文档。略……第二步,安装Flume客户端yum-yinstallflume-ng第三步,配置Flume 1、Flume使用经典的alternatives进行多版本管理,查看/添加配置路径:#alternatives--displayflume-ng-confflume-ng-conf-statusisauto.linkcurr
kisops
·
2013-08-07 22:00
hadoop
Flume
higkoo
你的
flume-ng
的第一篇博客
先说在前面,
flume-ng
后面的版本,我没仔细读changelog,比较农民,不知道新添了哪些特别NB的功能,有说错的地方,还请多多指教。
·
2013-07-31 20:00
Flume
你的
flume-ng
的第一篇博客
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume
sunmeng_Alex
·
2013-07-31 09:00
Flume 1.3.1 启动脚本出错解决方法
在做批量部署和启动flume(flume-1.3.1)的时候,发现有些机器无法自启动,检查时发现启动时报错如下/opt/local/flume-1.3.1/bin/
flume-ng
:line81:syntaxerrorinconditionalexpression
rzhzhz
·
2013-07-04 18:00
Flume-ng
分布式环境的部署和配置(三)
1.FlumeSinkProcessors测试#FailoverSinkProcessorFailoverSinkProcessormaintainsaprioritizedlistof sinks,guaranteeingthatsolongasoneisavailableeventswillbeprocessed (delivered)#配置文件#Namethe componentsonthi
ydt619
·
2013-06-27 10:40
Flume
flume-ng
Flume-ng
分布式环境的部署和配置(三)
1.FlumeSinkProcessors测试#FailoverSinkProcessorFailoverSinkProcessormaintainsaprioritizedlistofsinks,guaranteeingthatsolongasoneisavailableeventswillbeprocessed(delivered)#配置文件#Namethecomponentsonthisag
ydt619
·
2013-06-27 10:40
flume
flume-ng
linux
Flume-ng
分布式环境的部署和配置(二)
1.flumesink测试测试1#hdfssinkUsingthissinkrequireshadooptobeinstalledsothat FlumecanusetheHadoopjarstocommunicatewiththeHDFScluster需要安装hadoop在/usr/local/apache-flume-1.3.1-bin/conf/flume-env.sh加入export HA
ydt619
·
2013-06-27 10:57
Flume
flume-ng
Flume-ng
分布式环境的部署和配置(二)
1.flumesink测试测试1#hdfssinkUsingthissinkrequireshadooptobeinstalledsothatFlumecanusetheHadoopjarstocommunicatewiththeHDFScluster需要安装hadoop在/usr/local/apache-flume-1.3.1-bin/conf/flume-env.sh加入exportHADO
ydt619
·
2013-06-27 10:57
flume
flume-ng
linux
Flume-ng
分布式环境的部署和配置(一)
1.实验场景操作系统:Centos5.5JDK版本:1.7.0_21Flume版本:1.3.1Hadoop版本:0.20.2配置1个agent,2个collector,1个storage2.安装步骤JDK+flume#下载安装jdk1.7http://www.oracle.com/technetwork/java/javase/downloads/index.htmltarzxvfjdk-7u21
ydt619
·
2013-06-27 10:39
flume
flume-ng
linux
Flume-ng
分布式环境的部署和配置(一)
1.实验场景操作系统:Centos5.5JDK版本:1.7.0_21Flume版本:1.3.1Hadoop版本:0.20.2配置1个agent,2个collector,1个storage2.安装步骤JDK+flume#下载安装jdk1.7http://www.oracle.com/technetwork/java/javase/downloads/index.htmltarzxvfjdk-7u21
ydt619
·
2013-06-27 10:39
Flume
flume-ng
flume-ng
日志收集系统单机测试demo
a.单机测试
flume-ng
启动agent的命令为:$bin/flume-ngagent-n$agent_name-cconf-fconf/flume-conf.properties.template添加如下配置文件
caodaoxi
·
2013-05-02 18:00
Flume
flume-ng
1.3.1 windows version download
flume-ng1.3.1windowsversiondownloadandyzhouhttp://abloz.com(Tocompileflume-ngofwindows,pleasereferencehttp://mapredit.blogspot.com/2012/07/run-flume-13x-on-windows.htmlormychineseversionhttp://abloz.c
chesterj
·
2013-02-28 17:23
hadoop
flume-ng
1.3.1 windows version download
flume-ng
1.3.1 windows version download andy zhou http://abloz.com (To compile
flume-ng
of windows
cherster
·
2013-02-28 17:00
download
你的
flume-ng
的第一篇博客
先说在前面,
flume-ng
后面的版本,我没仔细读changelog,比较农民,不知道新添了哪些特别NB的功能,有说错的地方,还请多多指教。
cuilanbo
·
2013-01-28 11:00
Flume
Flume 1.3.1 启动时出错解决方案
/bin/
flume-ng
:line81:syntaxerrorinconditionalexpression:unexpectedtoken`('.
Hello陈翔
·
2013-01-09 15:00
Flume1.3.1
flume-ng
问题处理(1)
1,flume日志报错,同时没能正常收集相关日志文件Causedby:org.apache.flume.ChannelException:Spaceforcommittoqueuecouldn'tbeacquiredSinksarelikelynotkeepingupwithsources,orthebuffersizeistootight atorg.apache.flume.cha
hijk139
·
2013-01-04 16:00
flume-ng
问题处理(1)
1,flume日志报错,同时没能正常收集相关日志文件 Caused by: org.apache.flume.ChannelException: Space for commit to queue couldn't be acquired Sinks are likely not keeping up with sources, or the buffer size is too tigh
cloudtech
·
2013-01-04 08:00
Flume
[置顶]
Flume-ng
生产环境实践(四)实现log格式化interceptor
在
flume-ng
中提供了很方便的方式:Interceptor以下为实现的interceptor,首先使用正则表达式匹配nginx
rjhym
·
2012-12-29 15:00
源码
Flume
intercept
flume-ng
分布式实时日志收集
Flume-ng
生产环境实践(四)实现log格式化interceptor
在
flume-ng
中提供了很方便的方式: Interceptor 以下为实现的interceptor,首先使用正则表达式匹配ng
rjhym
·
2012-12-29 15:00
Interceptor
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他