Flume-NG

log4j集成flume-ng

原文地址：http://www.1-blog.com/?p=38flume-ng是时下比较流行的日志收集方案，log4j也是java领域内常用的日志组件。那有什么简单的办法把他们结合起来呢？背景：通常，我们的应用程序已经在使用log4j来记录日志了，有一天我们的日志需要导入到其他地方（同时文本日志暂时也不想丢），用来分析（hdfs）或者检索（elasticsearch），我们就想到通过一个数据管道
Ajita·2015-10-03 17:00

log4j集成flume-ng

阅读更多原文地址：http://www.1-blog.com/?p=38flume-ng是时下比较流行的日志收集方案，log4j也是java领域内常用的日志组件。那有什么简单的办法把他们结合起来呢？背景：通常，我们的应用程序已经在使用log4j来记录日志了，有一天我们的日志需要导入到其他地方（同时文本日志暂时也不想丢），用来分析（hdfs）或者检索（elasticsearch），我们就想到通过一个
Ajita·2015-10-03 17:00

Flume-ng学习资料

Flume-ng学习资料http://blog.csdn.net/xiao_jun_0820/article/category/2399621
nysyxxg·2015-09-30 18:00

flume插件开发，自定义source，sink

在flume-ng里面开发一个source需要遵循一定的规则，我们可以通过以下两种方法来开发自己的source：package org.apache.flume; import org.apache.flume.c
cjun1990·2015-09-28 17:00

flume-ng命令

使用flume-ng--help查看命令帮助。bin/flume-ngagent--confconf--conf-fileconf/example.conf--nameagent1
cjun1990·2015-09-28 09:00

flume-ng插件部署上传

插件写好之后打包上传，将开发的jar包加入到flume中方法一:进入vi/etc/profile在文件中加入exportFLUME_CLASSPATH=XXX/XX/XXX.jar在CALSSPATH的尾部加入:$FLUME_CLASSPATH,然后保存退出后，在命令行执行sh/etc/profile，通过在命令行输入flumeclasspath查看插件jar包是否在其中，在其中表示配置完成（注：
cjun1990·2015-09-25 10:00

flume-ng安装和简单使用例子

1.安装jdk。2.下载解压flume，修改bin/netcat-memory-logger.conf，内容如下：agent1.sources = sources1 agent1.channels = channels1  agent1.sinks = sinks1 agent1.sources.sources1.type = netcat agent1.sources.sources1.bind
cjun1990·2015-09-24 15:00

【Flume】【源码分析】深入flume-ng的三大组件——source，channel，sink

转载：http://blog.csdn.net/simonchi/article/details/43308677概览flume-ng中最重要的核心三大组件就是source,channel,sinksource
nysyxxg·2015-08-21 18:00

Flume-ng 自定义sink实现和属性注入

转自：http://www.aboutyun.com/thread-7884-1-1.html1.如何实现flume端自定一个sink，来按照我们的规则来保存日志？2.想从flume的配置文件中获取rootPath的值，该如何配置？最近需要利用flume来做收集远端日志，所以学习一些flume最基本的用法。这里仅作记录。远端日志收集的整体思路是远端自定义实现log4j的appender把消息发送到
nysyxxg·2015-08-21 13:00

Flume-ng 数据发送速度限制

Flume-ng数据发送速度限制转自：http://blog.csdn.net/desilting/article/details/27081357  按理说，应该在sink端限制数据的发送速度，但flume-ng
nysyxxg·2015-08-21 13:00

【分布式计算】分布式日志导入工具-Flume

为什么要写这篇文章呢，因为现在搜索出来的文献大多是老版本的flume，在flume1.X版本后，也就是flume-ng版本跟之前出现了很大的改动，市面上的很多文档都已经过时了，大家看的时候一定要注意这点
gshengod·2015-08-04 09:00

Flume-ng+Hbase实现日志的收集和存储

flumeng日志处理并存入数据库：flume-ng里面的SimpleHbaseEventSerializer只提供了最简单的数据插入hbase功能，如果还有其他需要，就得自己写HbaseEventSerializer
qq_23134245·2015-07-31 10:38

[日志处理工作之一]整合elasticsearch,kibana,flume-ng,kafka实时采集tomcat日志

本文涉及的所有操作均在一个CentOS6.5虚拟机内,部署成功后可供开发和测试使用各程序版本：apache-flume-1.7.0apache-tomcat-7.0.27elasticsearch-1.5.2kafka_2.11-0.8.2.1kibana-4.0.2scala-2.11Step1.关于flume：apacheflume当前版本为1.5.2，内置没有对kafka的支持，1.7.0版
村里的intern·2015-06-29 16:01

日志系统之扩展Flume-LineDeserializer

如有转载请注明出处：http://blog.csdn.net/yanghua_kobe/article/details/46595401继续闲聊日志系统，在之前的博文里已提到我们在日志收集上的选择是flume-ng
yanghua_kobe·2015-06-22 21:00

[转]Flume-NG内置计数器(监控)源码级分析

http://www.cnblogs.com/lxf20061900/p/3845356.html?utm_source=tuicool 　　Flume的内置监控怎么整？这个问题有很多人问。目前了解到的信息是可以使用Cloudera Manager、Ganglia有图形的监控工具，以及从浏览器获取json串，或者自定义向其他监控系统汇报信息。那监控的信息是什么呢？就是各个组件的统计信息，比如
linc09·2015-06-11 12:00

Flume practices and sqoop hive 2 oracle

#receive the file flume-ng agent --conf conf --conf-file conf1.conf --name a1 flume-ng agent --conf
·2015-06-03 19:00

你的flume-ng的第一篇博客

先说在前面，flume-ng后面的版本，我没仔细读changelog，比较农民，不知道新添了哪些特别NB的功能，有说错的地方，还请多多指教。   
liyantianmin·2015-05-24 16:00

Flume-ng日志收集简介

初来乍到，第一篇博文，错误支持多多包含多多指点以下内容以Flume1.5.2版本为基础（反正1.x都差不多）看完此文，就相当于看完了官方文档。数据流模型event：Flume数据流的基本数据单元，包含header（一组string属性）和body（二进制数组）两部分。agent：一个Flumeagent是一个JVM进程，有source、channel、sink三大组件构成。source：接收age
无论如何起个名字·2015-05-13 23:16

Flume使用小结

1 环境搭建     需要jdk、flume-ng、mongodb java driver、flume-ng-mongodb-sink（1）jdk下载地址：http
·2015-05-12 22:00

Flume-ng 高级功能配置

看看flume的高级功能：1  flumechannelselectors   如果没有特殊说明，则默认是replicating模式。还有Multiplexing、Custom模式可以选择。    1  ReplicatingChannelSelector       需要设置以下的属性：               selector.type  默认值是replicating，用来设置该组件的名
China_OS·2015-05-12 10:00

Flume相关技术汇总

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flum
tiantang_1986·2015-04-22 11:00

Flume-ng配置

1）简介Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1)可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁盘上，当数
fl_xiaoming·2015-04-15 22:09

【Flume】flume文件监控的source组件开发，增量传输文件内容，支持断点续传功能

基于flume-ng中原有exec的source类型，通过tail依赖于操作系统去监听文件内容变化，其次，不支持断点续传的功能，特此，自行开发了一个组件，大家可以看看，一起探讨：https://github.com
chiweitree·2015-04-09 15:04

【Flume】flume文件监控的source组件开发，增量传输文件内容，支持断点续传功能

基于flume-ng中原有exec的source类型，通过tail依赖于操作系统去监听文件内容变化，其次，不支持断点续传的功能，特此，自行开发了一个组件，大家可以看看，一起探讨：https://github.com
chiweitree·2015-04-09 15:00

flume-ng 自定义拦截器，对header中的字段进行正则匹配分离出更多header

代码如下:packagecom.wy.flume.interceptor; importjava.util.List; importjava.util.Map; importjava.util.regex.Matcher; importjava.util.regex.Pattern; importorg.apache.commons.lang.StringUtils; importorg.ap
chunhei2008·2015-03-17 17:00

flume-ng 自定义sink 实现rollfile 变量目录

自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。使用的时候配置如下：agent.sources=sourceagent.ch
chunhei2008·2015-03-17 11:00

Flume

Flume-ng则是Flume改进后的新版本。严格的讲Flume-ng是一个日志搜集、处理、存储的系统。
jamie.wang·2015-03-12 14:00

Flume

Flume-ng则是Flume改进后的新版本。严格的讲Flume-ng是一个日志搜集、处理、存储的系统。
jamie.wang·2015-03-12 14:00

flume-ng安装

阅读更多下载flume-ng$wgethttp://mirrors.hust.edu.cn/apache/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz解压，创建文件输出目录创建
jamie.wang·2015-03-12 14:00

flume-ng安装

  下载flume-ng $ wget http://mirrors.hust.edu.cn/apache/flume/1.5.2/apache-flume-1.5.2-
jamie.wang·2015-03-12 14:00

flume源码分析1-启动过程

 1.启动命令nohup bin/flume-ng agent -n agent-server  -f  agent-server1.conf &flume-ng是一个shell脚本：  agent                 
菜菜光·2015-03-11 23:09

flume源码分析1-启动过程

 1.启动命令nohup bin/flume-ng agent -n agent-server  -f  agent-server1.conf &flume-ng是一个shell脚本：  agent                 
菜菜光·2015-03-11 23:09

flume源码分析1-启动过程

1.启动命令nohup bin/flume-ng agent -n agent-server  -f  agent-server1.conf &flume-ng是一个shell脚本：  agent                 
菜菜光·2015-03-11 23:09

基于Flume的美团日志收集系统(一)架构和设计

转自：http://www.aboutyun.com/thread-8317-1-1.html问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？
乡里伢崽·2015-03-04 17:00

基于Flume的美团日志收集系统(一)架构和设计

阅读更多转自：http://www.aboutyun.com/thread-8317-1-1.html问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？
乡里伢崽·2015-03-04 17:00

Flume-ng安装与使用

一、FlumeNG核心概念 二、FlumenNG数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成。        Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source，比如上图中的
lilugoodjob·2015-02-25 11:43

Flume-ng安装与使用

一、FlumeNG核心概念 二、FlumenNG数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成。        Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source，比如上图中的
lilugoodjob·2015-02-25 11:43

Flume-ng安装与使用

一、FlumeNG核心概念二、FlumenNG数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成。Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source，比如上图中的WebServer
lilugoodjob·2015-02-25 11:43

【Spark七十五】Spark Streaming整合Flume-NG三之接入log4j

先来一段废话： 实际工作中，业务系统的日志基本上是使用Log4j写入到日志文件中的，问题的关键之处在于业务日志的格式混乱，这给对日志文件中的日志进行统计分析带来了极大的困难，或者说，基本上无法进行分析，每个人写日志的习惯不同，导致日志行的格式五花八门，最后只能通过grep来查找特定的关键词缩小范围，但是在集群环境下，每个机器去grep一遍，分析一遍，这个效率如何可想之二，大好光阴都浪费在这上面了
bit1129·2015-02-21 13:00

【Spark七十五】Spark Streaming整合Flume-NG三之接入log4j

先来一段废话： 实际工作中，业务系统的日志基本上是使用Log4j写入到日志文件中的，问题的关键之处在于业务日志的格式混乱，这给对日志文件中的日志进行统计分析带来了极大的困难，或者说，基本上无法进行分析，每个人写日志的习惯不同，导致日志行的格式五花八门，最后只能通过grep来查找特定的关键词缩小范围，但是在集群环境下，每个机器去grep一遍，分析一遍，这个效率如何可想之二，大好光阴都浪费在这上面了
bit1129·2015-02-21 13:00

【Spark七十五】Spark Streaming整合Flume-NG三之接入log4j

先来一段废话： 实际工作中，业务系统的日志基本上是使用Log4j写入到日志文件中的，问题的关键之处在于业务日志的格式混乱，这给对日志文件中的日志进行统计分析带来了极大的困难，或者说，基本上无法进行分析，每个人写日志的习惯不同，导致日志行的格式五花八门，最后只能通过grep来查找特定的关键词缩小范围，但是在集群环境下，每个机器去grep一遍，分析一遍，这个效率如何可想之二，大好光阴都浪费在这上面了
bit1129·2015-02-21 13:00

【Spark七十四】Spark Streaming整合Flume-NG二

在http://bit1129.iteye.com/blog/2184467一文中对Spark Streaming整合Flume-NG进行了基本的配置，并且Spark Streaming能够监听到来自于
bit1129·2015-02-21 10:00

【Spark七十四】Spark Streaming整合Flume-NG二

在http://bit1129.iteye.com/blog/2184467一文中对Spark Streaming整合Flume-NG进行了基本的配置，并且Spark Streaming能够监听到来自于
bit1129·2015-02-21 10:00

【Spark七十四】Spark Streaming整合Flume-NG二

在http://bit1129.iteye.com/blog/2184467一文中对Spark Streaming整合Flume-NG进行了基本的配置，并且Spark Streaming能够监听到来自于
bit1129·2015-02-21 10:00

Flume简介

当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-o
nysyxxg·2015-02-11 10:00

【Spark五十二】Spark Streaming整合Flume-NG一

  Spark Stream代码： package spark.examples.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.flume.FlumeUtils import org.apache.spark.streaming.{Seconds, Streaming
bit1129·2015-02-08 23:00

【Spark五十二】Spark Streaming整合Flume-NG一

  Spark Stream代码： package spark.examples.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.flume.FlumeUtils import org.apache.spark.streaming.{Seconds, Streaming
bit1129·2015-02-08 23:00

Flume-ng的原理和使用

原文发表在：http://blog.javachen.com/2014/07/22/flume-ng.html1.介绍FlumeNG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的FlumeOG到现在的FlumeNG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，
JavaChen·2015-02-03 00:00

【Flume】【源码分析】深入flume-ng的三大组件——source，channel，sink

概览flume-ng中最重要的核心三大组件就是source,channel,sinksource负责从源端收集数据，产出eventchannel负责暂存event，以备下游取走消费sink负责消费通道中的
chiweitree·2015-01-30 16:25

【Flume】【源码分析】深入flume-ng的三大组件——source，channel，sink

概览flume-ng中最重要的核心三大组件就是source,channel,sinksource负责从源端收集数据，产出eventchannel负责暂存event，以备下游取走消费sink负责消费通道中的
chiweitree·2015-01-30 16:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他