flume-ng

Flume-ng生产环境实践（三）实现文件sink，按照固定格式目录输出

自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。 使用的时候配置如下： agent.sources =
rjhym·2012-12-29 15:00

[置顶] Flume-ng生产环境实践（三）实现文件sink，按照固定格式目录输出

自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。使用的时候配置如下：agent.sources=sourceagent.ch
rjhym·2012-12-29 15:00

flume ng 1.3 安装配置方法

下面介绍下简单的安装配置方法1,网上下载flume-ng安装包，分别部署在收集和接收日志文件的服务器上，服务器上需安
hijk139·2012-12-17 17:00

flume-ng 测试过程中event丢失部分body数据

经过测试发现，当source端单event的body数据大于16字节后，输出到目标只剩下16字节。进过多源代码的分析，发现，源代码中进行了截取。 在LoggerSink.java中： if (event != null) { if (logger.isInfoEnabled()) { logger.info("Event: " + EventHelper.
rjhym·2012-12-07 16:00

[置顶] Flume-ng生产环境实践（二）flume-ng 测试过程中event丢失部分body数据

经过测试发现，当source端单event的body数据大于16字节后，输出到目标只剩下16字节。进过多源代码的分析，发现，源代码中进行了截取。在LoggerSink.java中：if(event!=null){    if(logger.isInfoEnabled()){     logger.info("Event:"+EventHelper.dumpEvent(event));    }}我
rjhym·2012-12-07 16:00

[置顶] Flume-ng生产环境实践（一）Flume-ng生产环境编译

 1.首先在系统上安装jdk1.6+和mvn3.X：     $java-version          javaversion"1.6.0_31"Java(TM)SERuntimeEnvironment(build1.6.0_31-b04-415-11M3635)JavaHotSpot(TM)64-BitServerVM(build20.6-b01-415,mixedmode)$mvn-ver
rjhym·2012-12-03 16:00

Flume-ng生产环境编译测试

1.首先在系统上安装jdk1.6+和mvn3.X： $ java -version java version "1.6.0_31" Java(TM) SE Runtime Environment (build 1.6.0_31-b04-415-11M3635) Java HotSpot(TM) 64-Bit Server VM (build 20.
rjhym·2012-12-03 16:00

在FlumeNG中如何使用 %{host}占位符

  HOW TO USE %{host} ESCAPE SEQUENCE IN FLUME-NG Sometimes you may try to aggregate data from
heipark·2012-08-31 10:00

试用flume-ng 1.1

FlumeNG1.x是Flume0.9.x的重构版本，基本面目全非了，Master和zookeeper没有了，collector没有了，Webconsole没有了，只有source（avro：很简单使用；exec：使用shell命令）sink（我用的hdfs）channl这3个组件，俨然从一个分布式系统变成了传输工具。新的架构如下：  下面是一个例子（参数经过优化），使用avro作为source，
heipark·2012-08-03 11:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他