Flume-NG

Flume-ng启动过程分析

Application.java入口函数main():... //加载flume的配置文件，初始化Sink,Source,Channel的工厂类 PropertiesFileConfigurationProviderconfigurationProvider= newPropertiesFileConfigurationProvider(agentName, configurationFile);
wsscy2004·2014-03-26 17:00

Flume-ng出现HDFS IO error,Callable timed out异常

这两台flume-ng晚上9点~11点flume出现异常：25Mar201422:18:25,189ERROR[hdfs-thrift_hdfsSink-roll-timer-0](org.apache.flume.sink.hdfs.BucketWriter
wsscy2004·2014-03-26 15:00

关于Flume-ng那些事(四)

最后一章了，flume-ng的手册总是慢半拍，一些实例可以参考下手册总的图，会很有收获。
小运·2014-03-23 01:00

关于Flume-ng那些事(二)

继续我们的测试。编辑flume.conf配置文件#Defineamemorychannelcalledch1onagent1 agent1.channels.ch1.type=memory #DefineanAvrosourcecalledavro-source1onagent1andtellit #tobindto0.0.0.0:41414.Connectittochannelch1. agen
小运·2014-03-23 01:00

关于Flume-ng那些事（三）

agentA （10.1.124.197）agentB（10.1.124.196）agent（10.1.124.198）测试一agentA =>agentB从客户端推送数据到agentB，更改channel为jdbc 保证events数据可靠性。##weblogagentconfig   agentA配置#Listsources,sinksandchannelsintheagentweblog-a
小运·2014-03-23 00:00

关于Flume-ng那些事（一）

：）,文章是去年2012年写的，现整理如下：介绍Flume-ng 在官方网站上说的重大结构性调整，以至于调整的连相应文档也都精简了，缺少实例配置，也许这就所谓的
小运·2014-03-23 00:00

Flume-ng的HdfsSink出现Lease mismatch错误

多台Flume-ngAgent做HA，实际环境中出现Leasemismatch错误，具体报错如下：11Mar201412:21:02,971WARN[SinkRunner-PollingRunner-DefaultSinkProcessor]( org.apache.flume.sink.hdfs.HDFSEventSink.process:418)-HDFSIOerror java.io.IOE
wsscy2004·2014-03-17 14:00

flume-ng 多节点集群示例

步骤：两台电脑上分别装上jdk,flume-ng（不是flume-og），配置好profile。具体参见百度。agent的处理  (1)找到flume-ng安装目录下的c
不是柯西·2014-02-28 16:00

Flume-ng ThriftSource原理分析

ThriftIDLFlumeThriftIDL在client包里面，定义如下：namespacejavaorg.apache.flume.thrift structThriftFlumeEvent{ 1:requiredmapheaders, 2:requiredbinarybody, } enumStatus{ OK, FAILED, ERROR, UNKNOWN } serviceThr
wsscy2004·2014-02-26 15:00

flume-ng启动时遇到报错时的解决

在命令行下启动bin/flume-ng时,竟然遇到报错,找到如下解决办法 错误如下： bin/flume-ng: line 82: syntax error in conditional expression
vincentzhwg·2014-02-25 17:00

flume 1.4 安装

flume-ng1.4的安装flume-ng是一个分布式、高可靠和高效的日志收集系统，具体说明参看flume-ng使用指南：http://blog.csdn.net/zhu_xun/article/details
hxpjava1·2014-02-14 16:00

Flume-NG + HDFS + HIVE 日志收集分析

在收集TB级别的日志量上flume-ng是更好的选择，因为后面的存储是扩展性极佳的HDFS。
cnbird2008·2014-02-07 17:08

Flume-NG + HDFS + HIVE 日志收集分析

在收集TB级别的日志量上flume-ng是更好的选择，因为后面的存储是扩展性极佳的HDFS。
cnbird2008·2014-02-07 17:00

Flume-0.9.4数据插入HBase-0.96

正如前文所述，flume-ng即flume-1.4.0版本和hbase-0.96结合相对比较容易配置，只需要做一些相关配置，实现自己的HbaseEventSerializer类，重新编译flume-ng-hbase-sink
_iAm333·2014-01-25 18:40

Flume-0.9.4数据插入HBase-0.96

正如前文所述，flume-ng即flume-1.4.0版本和hbase-0.96结合相对比较容易配置，只需要做一些相关配置，实现自己的HbaseEventSerializer类，重新编译flume-ng-hbase-sink
iAm333·2014-01-25 18:00

使用Flume Log4j Appender正确的姿势

使用FlumeLog4jAppender正确的姿势我们使用Flume-ng的LoadBalancingLog4jAppender，将线上服务的日志实时传输到日志服务器，转交给告警系统和HDFS做存储。
wsscy2004·2014-01-25 11:00

Flume-ng将数据插入hbase-0.96.0

上文介绍过flume数据插入hdfs和普通目录，本文继续介绍flume-ng将数据插入hbase-0.96.0.首先，修改node中flume文件夹下conf目录中的flume-node.conf文件（
iAm333·2014-01-24 19:00

Flume-ng配置

1）简介Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1)可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁盘上，当数
iAm333·2014-01-24 18:00

大数据工具篇之flume1.4-安装部署指南

一、引言flume-ng是一个分布式、高可靠和高效的日志收集系统，flume-ng是flume的新版本的意思，其中“ng”意为newgenerate(新一代)，目前来说，flume-ng1.4是最新的版本
张子良·2014-01-17 15:00

Flume-ng agent配置说明

see: http://flume.apache.org/FlumeUserGuide.htmlConfigurationAsmentionedintheearliersection,FlumeagentconfigurationisreadfromafilethatresemblesaJavapropertyfileformatwithhierarchicalpropertysettings.D
chrischen214·2014-01-16 16:00

flume 1.4的介绍及使用示例

flume-ng是flume的新版本的意思，其中“ng”意为newgenerate
u012875880·2013-12-13 09:00

flume-ng+elasticsearch+kibana

在flume-ng，elasticsearch方案中使用kibana http://baniu.me/2013/01/kibana-in-flume/ ganglia elasticsearch
dengbenji·2013-11-25 14:00

Flume-ng Exec “丢数据”

在解决了Flume-HDFS“丢数据”的问题（http://boylook.blog.51cto.com/7934327/1308188）后还听到抱怨说Flume还丢数据，如果说数据重复是可以理解的，我一直不理解为什么还丢呢？今天同事发现在agent端日志里一段异常：20Nov201310:15:54,231ERROR[pool-10-thread-1](org.apache.flume.sour
MIKE老毕·2013-11-22 18:10

Flume-ng Exec “丢数据”

在解决了Flume-HDFS“丢数据”的问题（http://boylook.blog.51cto.com/7934327/1308188）后还听到抱怨说Flume还丢数据，如果说数据重复是可以理解的，我一直不理解为什么还丢呢？今天同事发现在agent端日志里一段异常：20Nov201310:15:54,231ERROR[pool-10-thread-1](org.apache.flume.sour
MIKE老毕·2013-11-22 18:10

Flume-ng使用指南

Flume1.4.0UserGuideIntroductionOverviewApacheFlumeisadistributed,reliable,andavailablesystemforefficientlycollecting,aggregatingandmovinglargeamountsoflogdatafrommanydifferentsourcestoacentralizeddata
u012875880·2013-11-21 13:00

Flume-ng HDFS Sink “丢数据”

线上对Flume流入HDFS配置path:p1，每分钟切一个文件，定期从p1从move完成的（rename）文件到外部表进行计算分析，发现有“丢数据”现象：即在p1下经常看到几GB的.tmp文件，查看Flume日志发现当出现CallTimeoutException:HDFSIOERROR后，sink一直向.tmp写入，而不进行rename.FlumeHDFSSink正常写入流程见：http://b
MIKE老毕·2013-10-12 19:07

Flume-ng HDFS Sink “丢数据”

线上对Flume流入HDFS配置path:p1，每分钟切一个文件，定期从p1从move完成的（rename）文件到外部表进行计算分析，发现有“丢数据”现象：即在p1下经常看到几GB的.tmp文件，查看Flume日志发现当出现CallTimeoutException:HDFSIOERROR后，sink一直向.tmp写入，而不进行rename.FlumeHDFSSink正常写入流程见：http://b
MIKE老毕·2013-10-12 19:07

Flume-ng:multi sink one channel两种配置方式的对比

根据https://issues.apache.org/jira/browse/FLUME-1479FLume默认支持多个sink消费一个Channel，细看Flume-1479发现它的行为类似于Flume支持的sinkgroupselector的loadbalance+roundrobin模式相似，那么有什么区别呢？看代码里一个主要区别就是，不通过selector的多对一（multisinkco
MIKE老毕·2013-10-12 14:23

Flume-ng HDFS sink原理解析

http://boylook.itpub.net/post/43144/531408HDFSsink主要处理过程在process方法：//循环batchSize次或者Channel为空for(txnEventCount=0;txnEventCountopen();//如果底层支持append，则通过open接口打开；否则create接口//判断是否进行日志切换//根据复制的副本书和目标副本数做对比
MIKE老毕·2013-09-18 11:25

Flume-ng FileChannel原理解析

http://boylook.itpub.net/post/43144/531407对于Flume来说主要有两个Channel：Memory，File；对于线上环境主要以FileChannel为主，因此这里主要讨论它的实现：在FileChannel里主要由一个WAL的log和一个内存队列组成：FileChannel的Queue主要又以下几个部分组成：privatefinalEventQueueBa
MIKE老毕·2013-09-18 11:52

No appenders could be found for logger (org.apache.flume.node.Application).

/flume-ng agent -n a1 -c conf -f conf/flume-conf.properties + exec /usr/java/jdk1.6.0_30/bin/java -Xmx20m
hzxlb910·2013-08-19 15:00

Flume-NG 使用首记

第一步，配置Cloudera-CDH4软件源，见Cloudera官网文档。略……第二步，安装Flume客户端yum-yinstallflume-ng第三步，配置Flume   1、Flume使用经典的alternatives进行多版本管理，查看/添加配置路径：#alternatives--displayflume-ng-confflume-ng-conf-statusisauto.linkcurr
kisops·2013-08-07 22:00

你的flume-ng的第一篇博客

先说在前面，flume-ng后面的版本，我没仔细读changelog，比较农民，不知道新添了哪些特别NB的功能，有说错的地方，还请多多指教。   
·2013-07-31 20:00

你的flume-ng的第一篇博客

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume
sunmeng_Alex·2013-07-31 09:00

Flume 1.3.1 启动脚本出错解决方法

在做批量部署和启动flume（flume-1.3.1）的时候，发现有些机器无法自启动，检查时发现启动时报错如下/opt/local/flume-1.3.1/bin/flume-ng:line81:syntaxerrorinconditionalexpression
rzhzhz·2013-07-04 18:00

Flume-ng分布式环境的部署和配置(三)

1.FlumeSinkProcessors测试#FailoverSinkProcessorFailoverSinkProcessormaintainsaprioritizedlistof sinks,guaranteeingthatsolongasoneisavailableeventswillbeprocessed (delivered)#配置文件#Namethe componentsonthi
ydt619·2013-06-27 10:40

Flume-ng分布式环境的部署和配置(三)

1.FlumeSinkProcessors测试#FailoverSinkProcessorFailoverSinkProcessormaintainsaprioritizedlistofsinks,guaranteeingthatsolongasoneisavailableeventswillbeprocessed(delivered)#配置文件#Namethecomponentsonthisag
ydt619·2013-06-27 10:40

Flume-ng分布式环境的部署和配置(二)

1.flumesink测试测试1#hdfssinkUsingthissinkrequireshadooptobeinstalledsothat FlumecanusetheHadoopjarstocommunicatewiththeHDFScluster需要安装hadoop在/usr/local/apache-flume-1.3.1-bin/conf/flume-env.sh加入export HA
ydt619·2013-06-27 10:57

Flume-ng分布式环境的部署和配置(二)

1.flumesink测试测试1#hdfssinkUsingthissinkrequireshadooptobeinstalledsothatFlumecanusetheHadoopjarstocommunicatewiththeHDFScluster需要安装hadoop在/usr/local/apache-flume-1.3.1-bin/conf/flume-env.sh加入exportHADO
ydt619·2013-06-27 10:57

Flume-ng分布式环境的部署和配置(一)

1.实验场景操作系统：Centos5.5JDK版本：1.7.0_21Flume版本：1.3.1Hadoop版本：0.20.2配置1个agent,2个collector,1个storage2.安装步骤JDK+flume#下载安装jdk1.7http://www.oracle.com/technetwork/java/javase/downloads/index.htmltarzxvfjdk-7u21
ydt619·2013-06-27 10:39

Flume-ng分布式环境的部署和配置(一)

1.实验场景操作系统：Centos5.5JDK版本：1.7.0_21Flume版本：1.3.1Hadoop版本：0.20.2配置1个agent,2个collector,1个storage2.安装步骤JDK+flume#下载安装jdk1.7http://www.oracle.com/technetwork/java/javase/downloads/index.htmltarzxvfjdk-7u21
ydt619·2013-06-27 10:39

flume-ng 日志收集系统单机测试demo

a.单机测试flume-ng启动agent的命令为：$bin/flume-ngagent-n$agent_name-cconf-fconf/flume-conf.properties.template添加如下配置文件
caodaoxi·2013-05-02 18:00

flume-ng 1.3.1 windows version download

flume-ng1.3.1windowsversiondownloadandyzhouhttp://abloz.com(Tocompileflume-ngofwindows,pleasereferencehttp://mapredit.blogspot.com/2012/07/run-flume-13x-on-windows.htmlormychineseversionhttp://abloz.c
chesterj·2013-02-28 17:23

flume-ng 1.3.1 windows version download

flume-ng 1.3.1 windows version download andy zhou http://abloz.com (To compile flume-ng of windows
cherster·2013-02-28 17:00

你的flume-ng的第一篇博客

先说在前面，flume-ng后面的版本，我没仔细读changelog，比较农民，不知道新添了哪些特别NB的功能，有说错的地方，还请多多指教。   
cuilanbo·2013-01-28 11:00

Flume 1.3.1 启动时出错解决方案

/bin/flume-ng:line81:syntaxerrorinconditionalexpression:unexpectedtoken`('.
Hello陈翔·2013-01-09 15:00

flume-ng 问题处理（1）

1,flume日志报错，同时没能正常收集相关日志文件Causedby:org.apache.flume.ChannelException:Spaceforcommittoqueuecouldn'tbeacquiredSinksarelikelynotkeepingupwithsources,orthebuffersizeistootight       atorg.apache.flume.cha
hijk139·2013-01-04 16:00

flume-ng 问题处理（1）

1,flume日志报错，同时没能正常收集相关日志文件 Caused by: org.apache.flume.ChannelException: Space for commit to queue couldn't be acquired Sinks are likely not keeping up with sources, or the buffer size is too tigh
cloudtech·2013-01-04 08:00

[置顶] Flume-ng生产环境实践（四）实现log格式化interceptor

在flume-ng中提供了很方便的方式：Interceptor以下为实现的interceptor，首先使用正则表达式匹配nginx
rjhym·2012-12-29 15:00

Flume-ng生产环境实践（四）实现log格式化interceptor

在flume-ng中提供了很方便的方式： Interceptor 以下为实现的interceptor，首先使用正则表达式匹配ng
rjhym·2012-12-29 15:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他