flume-ng

Linux Shell 实践积累

/bin/bash  chars=('c' 'd' 'e' 'f')  for var in ${chars[@]};do      path='/mnt/sd'$var'1/flume-ng/file-channel
zxmit·2015-01-28 17:00

Flume-NG指令集和第一个简单的案例

#flume-ng指令commands:helpdisplaythishelptextagentrunaFlumeagentavro-clientrunanavroFlumeclientversionshowFlumeversioninfoglobaloptions
Junjie_M·2015-01-23 11:14

flume-ng avro方式传输数据配置 flume-ng多节点实例

  tail-to-avro agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 # Describe/configure spooldir source1 #agent1.sources.source1.type = spooldir #agent1.sources.sour
liyonghui160com·2015-01-06 10:00

Spark与Mysql(JdbcRDD)整合开发(zh)

Spark的功能是非常强大，在本博客的文章中，我们讨论了《Spark和Hbase整合》、《Spark和Flume-ng整合》以及《和Hive的整合》。
javastart·2015-01-04 15:44

Spark与Mysql(JdbcRDD)整合开发(zh)

Spark的功能是非常强大，在本博客的文章中，我们讨论了《Spark和Hbase整合》、《Spark和Flume-ng整合》以及《和Hive的整合》。
javastart·2015-01-04 15:00

flume-ng 整体介绍

目录[-]1、Flume的一些核心概念：1.1数据流模型1.2高可靠性1.3可恢复性2、Flume整体架构介绍2.1Execsource2.2SpoolingDirectorySource3、常用架构、功能配置示例3.1先来个简单的：单节点Flume配置3.2单节点Flume直接写入HDFS3.3来一个常见架构：多agent汇聚写入HDFS3.3.1在各个webserv日志机上配置FlumeCli
wuzhilon88·2014-12-31 10:00

用Maven编译Apache flume-ng 1.5.0源码及问题解决

用Maven编译Apacheflume-ng1.5.0源码及问题解决 http://blog.csdn.net/yydcj/article/details/38824823 Flume-ng日志收集系统
nysyxxg·2014-12-11 16:00

[置顶] 【Apache Flume系列】Flume-ng案例分享及source编码格式问题

转载请注明源地址：http://blog.csdn.net/weijonathan/article/details/41749151最近忙于在整一个客户的流式抽取的方案，结果遇到了很多问题；主要还是编码问题；先说下场景场景：用户生成每一个小时的开始生成一个日志文件，不停的往日志文件中写入。而我这块则是实时读取客户的日志文件然后解析入库；这里我们选择的方案还是以前的由flume来读取；然后写入kaf
WeiJonathan·2014-12-09 13:00

【Apache Flume系列】Flume-ng案例分享及source编码格式问题

转载请注明源地址：http://blog.csdn.net/weijonathan/article/details/41749151最近忙于在整一个客户的流式抽取的方案，结果遇到了很多问题；主要还是编码问题；先说下场景场景：用户生成每一个小时的开始生成一个日志文件，不停的往日志文件中写入。而我这块则是实时读取客户的日志文件然后解析入库；这里我们选择的方案还是以前的由flume来读取；然后写入kaf
Jonathan-Wei·2014-12-09 00:00

Flume-NG中用到的一些好的文章

玖疯的博客：http://www.cnblogs.com/lxf20061900/category/565688.html
tswisdom·2014-11-25 20:00

Flume-ng生产环境实践（四）实现log格式化interceptor

在flume-ng中提供了很方便的方式：Interceptor以下为实现的interceptor，首先使用正则表达式匹配nginx
tswisdom·2014-11-25 16:00

Flume-ng生产环境实践（三）实现文件sink，按照固定格式目录输出

自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。使用的时候配置如下：agent.sources=sourceagent.ch
tswisdom·2014-11-25 16:00

Flume-ng生产环境实践（二）flume-ng 测试过程中event丢失部分body数据

经过测试发现，当source端单event的body数据大于16字节后，输出到目标只剩下16字节。进过多源代码的分析，发现，源代码中进行了截取。在LoggerSink.java中：if(event!=null){    if(logger.isInfoEnabled()){     logger.info("Event:"+EventHelper.dumpEvent(event));    }}我
tswisdom·2014-11-25 16:00

Flume-ng生产环境实践（一）Flume-ng生产环境编译

 1.首先在系统上安装jdk1.6+和mvn3.X：     $java-version          javaversion"1.6.0_31"Java(TM)SERuntimeEnvironment(build1.6.0_31-b04-415-11M3635)JavaHotSpot(TM)64-BitServerVM(build20.6-b01-415,mixedmode)$mvn-ver
tswisdom·2014-11-25 16:00

flume+Hbase搭建问题详解

近期在做日志系统，所以选配了一些方案，在搭建时候遇到了问题，所以记录下flume-ng去连接hbase#Describethesinka1.sinks.k1.type=org.apache.flume.sink.hbase.AsyncHBaseSinka1
QIANGLU0·2014-10-24 14:18

记Flume-NG一些注意事项(不定时更新，欢迎提供信息)

这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source：1、spool-source：适合静态文件，即文件本身不是动态变化的；2、avrosource可以适当提高线程数量来提高此source性能；3、ThriftSource在使用时有个问题需要注意，使用批量操作时出现异常并不会打印异常内容而是"Thriftsource%scouldnotapp
玖疯·2014-10-09 17:00

flume ng 1.3 安装配置方法

下面介绍下简单的安装配置方法1,网上下载flume-ng安装包，分别部署在收集和接收日志文件的服务器上，服务器上需安
w616589292·2014-09-29 18:00

大数据高级开发工程师

职位要求：1.有海量数据分析和统计相关经验者优先，有数据可视化相关经验或推荐系统相关经验的加分；2.对hadoop、hive、hbase、MapReduce、flume-ng、kafka、storm一种或者几种有一定的
肥皂·2014-09-27 20:00

nginx日志切割并使用flume-ng收集日志

     nginx的日志文件没有rotate功能。如果你不处理，日志文件将变得越来越大，还好我们可以写一个nginx日志切割脚本来自动切割日志文件。第一步就是重命名日志文件，不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前，nginx还是会向你重命名的文件写日志，linux是靠文件描述符而不是文件名定位文件。第二步向nginx主
liyonghui160com·2014-09-22 15:00

利用Flume-ng进行日志收集

一、介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。二、安装环境agent:192.168.7.101hdfs:192.168.7.70(namenode)  192.168.7.71(datanode) 1
wang007185·2014-09-03 14:18

[置顶] 【Apache Flume系列】Flume-ng failover 以及Load balance测试及注意事项

好久没写博客了。最近在研究storm、flume和kafka。今天给大伙写下我测试flumefailover以及loadbalance的场景以及一些结论；测试环境包含5个配置文件，也就是5个agent。一个主的配置文件，也就是我们配置failover以及loadbalance关系的配置文件（flume-sink.properties），这个文件在下面的场景会变动，所以这里就不列举出来了，会在具体的
WeiJonathan·2014-08-14 15:00

flume-ng配置参数详解

  （说明，名词对应解释 源-Source，接收器-Sink，通道-Channel）           配置         设置代理                Flume代理配置存储
liyonghui160com·2014-07-31 14:00

flume学习（二）：如何找到cm安装的flume的配置文件

通过CM安装好flume-ng之后，可以在管理界面上修改flume.conf配置，但是 /etc/flume-ng/conf目录下的flume.conf文件却空空如也。
xiao_jun_0820·2014-07-25 10:00

使用Flume Log4j Appender正确的姿势

转自:http://blog.csdn.net/wsscy2004/article/details/18765491使用FlumeLog4jAppender正确的姿势我们使用Flume-ng的LoadBalancingLog4jAppender
kexinmei·2014-07-22 10:00

flume-ng负载均衡load-balance、failover集群搭建

转自：http://blog.csdn.net/morning_pig/article/details/9093149集群采用3台机器：[html]viewplaincopyhost1load-balance设置host2机器1host3机器2其中，host1机器配置：[html]viewplaincopy#Defineamemorychannelcalledc1ona1a1.channels=c
lskyne·2014-07-10 19:40

flume-ng负载均衡load-balance、failover集群搭建

转自：http://blog.csdn.net/morning_pig/article/details/9093149集群采用3台机器：[html] viewplaincopyhost1 load-balance设置  host2 机器1  host3 机器2  其中，host1机器配置：[html] viewplaincopy#Define a memory channel called c1 
lskyne·2014-07-10 19:00

Flume-ng：avro源发送日志

agent1向agent3发送日志agent3 配置agent3.channels.ch1.type = memoryagent3.sources.avro-source1.channels = ch1agent3.sources.avro-source1.type = avroagent3.sources.avro-source1.bind = 0.0.0.0agent3.sources.avr
lskyne·2014-07-09 16:00

日志收集之flume-ng源码分析

转自：http://blog.csdn.net/hpttlook/article/details/22760547Flume-ng源码分析简介  近期由于项目需要开发独特的flume-source，因此简单看了下flume的源码。Flume的架构还是比较简单，各个模块功能源码比较清晰。源码目录结构        flume-ng-channels        里面包含了filechannel和j
lskyne·2014-07-08 16:00

Flume-ng 数据发送速度限制

转自：http://blog.csdn.net/desilting/article/details/27081357  按理说，应该在sink端限制数据的发送速度，但flume-ng提供了非常便利的interceptor
lskyne·2014-07-08 15:00

基于Flume的美团日志收集系统(一)架构和设计

转自：http://www.aboutyun.com/thread-8317-1-1.html问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？
lskyne·2014-07-08 14:59

基于Flume的美团日志收集系统(一)架构和设计

转自：http://www.aboutyun.com/thread-8317-1-1.html问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？
lskyne·2014-07-08 14:00

有关OutOfMemoryError的原因及处理

heap space，at… 先通过内存映像分析工具堆dump出来的堆快照分析， -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/flume-ng
sjy-showtime·2014-07-03 08:00

flume-ng1.4 安装配置

flume-ng1.4安装配置记录一下flume-ng的安装配置三个基本概念source：数据源channel：数据传输通道sink：数据目的地，如存储在hdfs配置：flume.conf#defineagent1
jinyan2049·2014-06-26 18:01

flume-ng1.4 安装配置

flume-ng1.4安装配置记录一下flume-ng的安装配置三个基本概念source：数据源channel：数据传输通道sink：数据目的地，如存储在hdfs配置：flume.conf#defineagent1
jinyan2049·2014-06-26 18:01

【Java】【Flume】Flume-NG源码阅读之AvroSink

org.apache.flume.sink.AvroSink是用来通过网络来传输数据的，可以将event发送到RPC服务器（比如AvroSource），使用AvroSink和AvroSource可以组成分层结构。它继承自AbstractRpcSink extendsAbstractSink implementsConfigurable这跟其他的sink一样都得extendsAbstractSink
szwangdf·2014-06-24 13:00

【Java】【Flume】Flume-NG启动过程源码分析（三）

本篇分析加载配置文件后各个组件是如何运行的？加载完配置文件订阅者Application类会收到订阅信息执行：@Subscribe publicsynchronizedvoidhandleConfigurationEvent(MaterializedConfigurationconf){ stopAllComponents(); startAllComponents(conf); }Material
szwangdf·2014-06-24 13:00

【Java】【Flume】Flume-NG启动过程源码分析（二）

本节分析配置文件的解析，即PollingPropertiesFileConfigurationProvider.FileWatcherRunnable.run中的eventBus.post(getConfiguration())。分析getConfiguration()方法。此方法在AbstractConfigurationProvider类中实现了，并且这个类也初始化了三大组件的工厂类：this
szwangdf·2014-06-24 13:00

【Java】【Flume】Flume-NG启动过程源码分析（一）

从bin/flume这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类，这是flume的main函数所在。main方法首先会先解析shell命令，如果指定的配置文件不存在就甩出异常。根据命令中含有"no-reload-conf"参数，决定采用那种加载配置文件方式：一、没有此参数，会动态加载配置文件，默认每30秒加载一次配置文件，因此可以
szwangdf·2014-06-24 13:00

【Java】【Fulme】Flume-NG源码阅读之SpoolDirectorySource

    org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source，这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源，这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹，当出现新文件时会读取该文件并获取数据。当一个给定的文件被全部读入到通道中时，该文件会被重命名以标志已经完成。同时，该源需要一个清理进程来定期
szwangdf·2014-06-24 13:00

Flume-ng 数据发送速度限制

按理说，应该在sink端限制数据的发送速度，但flume-ng提供了非常便利的interceptor模式，因此本文，就只是在source端简单的实现了对数据发送速度的限制。
沧南·2014-06-10 15:43

Flume-ng 数据发送速度限制

按理说，应该在sink端限制数据的发送速度，但flume-ng提供了非常便利的interceptor模式，因此本文，就只是在source端简单的实现了对数据发送速度的限制。
沧南·2014-06-10 15:43

Flume-ng 数据发送速度限制

    按理说，应该在sink端限制数据的发送速度，但flume-ng提供了非常便利的interceptor模式，因此本文，就只是在source端简单的实现了对数据发送速度的限制。     
Desilting·2014-06-10 15:00

Hadoop CDH5 Flume部署

Hadoop有一套日志收集系统，flume，下一代的日志收集叫flume-ng，老版本的叫flume-og。这一篇就在CDH5.0上尝试flume-ng1.4。还是基于之前升级后的CDH5集群操作。
China_OS·2014-05-29 17:00

预学习的内容

zookeeper redis mongdb kafka spark flume-ng HAproxy nginx thrift avro es hadoop hive hbase
wangqiaowqo·2014-05-29 11:00

flume-ng demo配置详解

一、简单测试配置信息 flume-ng启动agent的命令为： $ bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template
JavaKill·2014-05-15 15:00

Flume

使用Flume Log4j Appender正确的姿势 我们使用Flume-ng的LoadBalancingLog4jAppender，将线上服务的日志实时传输到日志服务器，转交给告警系统和HDFS做存储
sjy-showtime·2014-05-12 19:00

flume 命令

flume-ng agent -n a1 -c conf -f source_netcat-sink_logger.properties telnet localhost 44444  
228298566·2014-05-08 18:00

Flume-ng 1.4 运行抛出“line 81: syntax error in conditional expression: unexpected token `('”

   运行flume-ng命令时，抛出异常：line81:syntaxerrorinconditionalexpression:unexpectedtoken`('   解决方法：  需要修改flume-ng
GreatElite·2014-04-08 14:00

flume-ng性能优化与架构设计

flume-ng性能优化与架构设计，简单来讲，也主要包括以上部分。1,主键的参数设计1.1source的配置有时候不需要每台主机均安装flumeagent,可以和sshpass等命令结合使用,灵活收
hijk139·2014-04-03 12:00

Flume-0.9.4数据插入HBase-0.96

正如前文所 述，flume-ng即flume-1.4.0版本和hbase-0.96结合相对比较容易配置，只需要做一些相关配置，实现自己的 HbaseEventSerial
·2014-03-28 10:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他