flume源码

第88课：SparkStreaming从Flume Poll数据案例实战和内部源码解密

本期内容：1、SparkStreamingonPollingfromFlume实战2、SparkStreamingonPollingfromFlume源码第一部分：推模式(FlumepushSparkStreaming
lhui798·2016-04-30 14:00

Flume-NG源码分析-整体结构及配置载入分析

终于开始Flume源码的分析研究工作了，我也是边学边和大家分享，内容上难免有不
flychao88·2016-03-23 07:17

玩转Flume+Kafka原来也就那点事儿

好久没有写分享了，继前一个系列进行了Kafka源码分享之后，接下来进行Flume源码分析系列，望大家继续关注，今天先进行开篇文章Flume+kafka的环境配置与使用。
flychao88·2016-03-20 08:00

Flume架构与源码分析-整体架构

原文：http://jinnianshilongnian.iteye.com/blog/2261225最近在学习Flume源码，所以想写一份Flume源码学习的笔记供需要的朋友一起学习参考。 
tiantang_1986·2016-03-16 15:00

Flume架构与源码分析-整体架构

最近在学习Flume源码，所以想写一份Flume源码学习的笔记供需要的朋友一起学习参考。
jinnianshilongnian·2015-12-02 21:28

Flume架构与源码分析-整体架构

最近在学习Flume源码，所以想写一份Flume源码学习的笔记供需要的朋友一起学习参考。 
jinnianshilongnian·2015-12-02 21:00

Flume架构与源码分析-整体架构

阅读更多最近在学习Flume源码，所以想写一份Flume源码学习的笔记供需要的朋友一起学习参考。
jinnianshilongnian·2015-12-02 21:00

关于flume中的几个疑惑

文章发自http://www.cnblogs.com/hark0623/p/4205756.html  转载请注明   flume越用越有一些疑惑，这个月中按计划是要阅读flume
·2015-10-31 12:34

Flume MemoryChannel源码分析

注意：本文章中的Flume源码为1.6.0版本。Event
jiacai2050·2015-08-30 00:00

Maven编译Flume源码

Flume是一个分布式日志收集系统系统，具体的后面的文章会详细介绍，本篇只讲述如果编译，打包，导入eclipse阅读源码。编译过程中遇到些问题，网上找了好多资料，都无法解决。记录下来，希望能对需要的人有所帮助。1，通过git下载源码，最新版本是1.7.0，我编译的是1.7.0的快照版本地址：https://github.com/apache/flume.git2，mvncleaneclipse:c
qianshangding·2015-06-13 11:00

【Flume】Rpc sink XX closing Rpc client:NettyAvroRpcClient {xx} …… Failed to send events 问题解决

通过日志信息，发现出现了异常，但是很奇怪，在异常信息之前，有一句Rpcsink{}closingRpcclient:{}这里destroyConnection了，摧毁了一个连接，好端端的为什么会摧毁连接呢，从flume
chiweitree·2015-05-12 11:00

flume源码学习10-HDFSEventSink目录设置功能实现

这里以按自定义头部的配置为例（根据某些业务不同写入不同的主目录）配置：source:interceptors = i1interceptors.i1.type = regex_extractor interceptors.i1.regex = /apps/logs/(.*?)/interceptors.i1.serializers = s1interceptors.i1.serializers.s
菜菜光·2015-03-11 23:55

flume源码学习10-HDFSEventSink目录设置功能实现

 这里以按自定义头部的配置为例（根据某些业务不同写入不同的主目录）配置：source:interceptors = i1 interceptors.i1.type = regex_extractor  interceptors.i1.regex = /apps/logs/(.*?)/ interceptors.i1.serializers = s1 interceptors.i1.serializ
菜菜光·2015-03-11 23:55

flume源码学习10-HDFSEventSink目录设置功能实现

 这里以按自定义头部的配置为例（根据某些业务不同写入不同的主目录）配置：source:interceptors = i1 interceptors.i1.type = regex_extractor  interceptors.i1.regex = /apps/logs/(.*?)/ interceptors.i1.serializers = s1 interceptors.i1.serializ
菜菜光·2015-03-11 23:55

flume源码学习5-RegexExtractorInterceptor实现

RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配eventbody来提取字符串，并使用serializers把字符串作为header的值实例：以如下的命令使用execsource收集日志的时候，可以根据文件的名称设置不同的header，进行不同的操作#!/bin/sh filename=$1 hostname=`hostname -s
菜菜光·2015-03-11 23:45

flume源码学习5-RegexExtractorInterceptor实现

RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配eventbody来提取字符串，并使用serializers把字符串作为header的值实例：以如下的命令使用execsource收集日志的时候，可以根据文件的名称设置不同的header，进行不同的操作#!/bin/sh filename=$1 hostname=`hostname -s
菜菜光·2015-03-11 23:45

flume源码学习5-RegexExtractorInterceptor实现

RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配eventbody来提取字符串，并使用serializers把字符串作为header的值实例：以如下的命令使用execsource收集日志的时候，可以根据文件的名称设置不同的header，进行不同的操作#!/bin/shfilename=$1hostname=`hostname -s`t
菜菜光·2015-03-11 23:45

flume源码分析1-启动过程

 1.启动命令nohup bin/flume-ng agent -n agent-server  -f  agent-server1.conf &flume-ng是一个shell脚本：  agent                 run a Flume agent  ---> org.apache.flume.node.Application 类   avro-client           
菜菜光·2015-03-11 23:09

flume源码分析1-启动过程

 1.启动命令nohup bin/flume-ng agent -n agent-server  -f  agent-server1.conf &flume-ng是一个shell脚本：  agent                 run a Flume agent  ---> org.apache.flume.node.Application 类   avro-client           
菜菜光·2015-03-11 23:09

flume源码分析1-启动过程

1.启动命令nohup bin/flume-ng agent -n agent-server  -f  agent-server1.conf &flume-ng是一个shell脚本：  agent                 run a Flume agent  ---> org.apache.flume.node.Application 类  avro-client           ru
菜菜光·2015-03-11 23:09

flume源码学习2-服务管理实现

 flume可以监控并管理组件的运行状态，在组件关闭的时候可以自动拉起来，原理是通过启动一个计划任务线程池（monitorService，线程的最大数量为30），运行监控线程（MonitorRunnable线程），每隔3s判断组件(包括Channel，SinkRunner)的状态是否符合要求(可用的状态由两种START和STOP)，根据不同的要求调用对应组件不同的方法，START会调用start方
菜菜光·2015-03-11 23:01

flume源码学习2-服务管理实现

 flume可以监控并管理组件的运行状态，在组件关闭的时候可以自动拉起来，原理是通过启动一个计划任务线程池（monitorService，线程的最大数量为30），运行监控线程（MonitorRunnable线程），每隔3s判断组件(包括Channel，SinkRunner)的状态是否符合要求(可用的状态由两种START和STOP)，根据不同的要求调用对应组件不同的方法，START会调用start方
菜菜光·2015-03-11 23:01

flume源码学习2-服务管理实现

flume可以监控并管理组件的运行状态，在组件关闭的时候可以自动拉起来，原理是通过启动一个计划任务线程池（monitorService，线程的最大数量为30），运行监控线程（MonitorRunnable线程），每隔3s判断组件(包括Channel，SinkRunner)的状态是否符合要求(可用的状态由两种START和STOP)，根据不同的要求调用对应组件不同的方法，START会调用start方法
菜菜光·2015-03-11 23:01

flume源码学习3-自动reload配置功能

在1.5.0的flume版本中开始提供这个功能，判断配置文件的更新时间戳来reload服务原理：1）在启动中使用EventBus.register注册Application对象，同时Application有一个Subscribe的方法handleConfigurationEvent（参数是MaterializedConfiguration对象）2）定义了一个计划任务线程池，检测到文件更新情况（判断
菜菜光·2015-03-11 23:22

flume源码学习3-自动reload配置功能

 在1.5.0的flume版本中开始提供这个功能，判断配置文件的更新时间戳来reload服务原理：1）在启动中使用EventBus.register注册Application对象，同时Application有一个Subscribe的方法handleConfigurationEvent（参数是MaterializedConfiguration对象）2）定义了一个计划任务线程池，检测到文件更新情况（判
菜菜光·2015-03-11 23:22

flume源码学习3-自动reload配置功能

 在1.5.0的flume版本中开始提供这个功能，判断配置文件的更新时间戳来reload服务原理：1）在启动中使用EventBus.register注册Application对象，同时Application有一个Subscribe的方法handleConfigurationEvent（参数是MaterializedConfiguration对象）2）定义了一个计划任务线程池，检测到文件更新情况（判
菜菜光·2015-03-11 23:22

flume源码学习6-ChannelProcessor的实现

   org.apache.flume.channel.ChannelProcessor用于实际的Event到Channel的操作（在Source中用到），可以把它想象成channel的proxy，用于控制把Eventput到哪些Channel中，以及怎么put(bacth或者单个)，同时在put之前会使用Interceptor对Event进行处理。把Eventput到哪些Channel中是由Ch
菜菜光·2015-03-08 23:01

flume源码学习6-ChannelProcessor的实现

org.apache.flume.channel.ChannelProcessor用于实际的Event到Channel的操作（在Source中用到），可以把它想象成channel的proxy，用于控制把Eventput到哪些Channel中，以及怎么put(bacth或者单个)，同时在put之前会使用Interceptor对Event进行处理。把Eventput到哪些Channel中是由Chann
菜菜光·2015-03-08 23:01

flume源码学习6-ChannelProcessor的实现

   org.apache.flume.channel.ChannelProcessor用于实际的Event到Channel的操作（在Source中用到），可以把它想象成channel的proxy，用于控制把Eventput到哪些Channel中，以及怎么put(bacth或者单个)，同时在put之前会使用Interceptor对Event进行处理。把Eventput到哪些Channel中是由Ch
菜菜光·2015-03-08 23:01

flume源码学习4-SourceRunner与ExecSource实现

 在agent启动时，会启动Channel,SourceRunner,SinkRunner，比如在org.apache.flume.agent.embedded.EmbeddedAgent类的doStart方法中：  private void doStart() {     boolean error = true;     try {       channel.start(); //调用Cha
菜菜光·2015-03-08 15:18

flume源码学习4-SourceRunner与ExecSource实现

在agent启动时，会启动Channel,SourceRunner,SinkRunner，比如在org.apache.flume.agent.embedded.EmbeddedAgent类的doStart方法中：  private void doStart() {    boolean error = true;    try {      channel.start(); //调用Channel
菜菜光·2015-03-08 15:18

flume源码学习4-SourceRunner与ExecSource实现

 在agent启动时，会启动Channel,SourceRunner,SinkRunner，比如在org.apache.flume.agent.embedded.EmbeddedAgent类的doStart方法中：  private void doStart() {     boolean error = true;     try {       channel.start(); //调用Cha
菜菜光·2015-03-08 15:18

flume源码学习8-hdfs sink的具体写入流程

上一篇说了HDFSEventSink的实现，这里根据hdfssink的配置和调用分析来看下sink中整个hdfs数据写入的过程：线上hdfssink的几个重要设置hdfs.path = hdfs://xxxxx/%{logtypename}/%Y%m%d/%H：hdfs.rollInterval = 60hdfs.rollSize = 0 //想让文件只根据实际来rollhdfs.rollCoun
菜菜光·2015-03-07 23:43

flume源码学习8-hdfs sink的具体写入流程

 上一篇说了HDFSEventSink的实现，这里根据hdfssink的配置和调用分析来看下sink中整个hdfs数据写入的过程：线上hdfssink的几个重要设置hdfs.path = hdfs://xxxxx/%{logtypename}/%Y%m%d/%H： hdfs.rollInterval = 60 hdfs.rollSize = 0 //想让文件只根据实际来roll hdfs.roll
菜菜光·2015-03-07 23:43

flume源码学习8-hdfs sink的具体写入流程

 上一篇说了HDFSEventSink的实现，这里根据hdfssink的配置和调用分析来看下sink中整个hdfs数据写入的过程：线上hdfssink的几个重要设置hdfs.path = hdfs://xxxxx/%{logtypename}/%Y%m%d/%H： hdfs.rollInterval = 60 hdfs.rollSize = 0 //想让文件只根据实际来roll hdfs.roll
菜菜光·2015-03-07 23:43

flume源码学习9-HDFSEventSink实现

  HDFSEventSink用于把数据从channel中拿出来（主动pull的形式）然后放到hdfs中，HDFSEventSink在启动时会启动两个线程池callTimeoutPool和timedRollerPool，callTimeoutPool用于运行append/flush等操作hdfs的task（通过callWithTimeout方法调用，并实现timeout功能），用于运行翻转文件的计
菜菜光·2015-03-05 23:15

flume源码学习9-HDFSEventSink实现

  HDFSEventSink用于把数据从channel中拿出来（主动pull的形式）然后放到hdfs中，HDFSEventSink在启动时会启动两个线程池callTimeoutPool和timedRollerPool，callTimeoutPool用于运行append/flush等操作hdfs的task（通过callWithTimeout方法调用，并实现timeout功能），用于运行翻转文件的计
菜菜光·2015-03-05 23:15

flume源码学习9-HDFSEventSink实现

HDFSEventSink用于把数据从channel中拿出来（主动pull的形式）然后放到hdfs中，HDFSEventSink在启动时会启动两个线程池callTimeoutPool和timedRollerPool，callTimeoutPool用于运行append/flush等操作hdfs的task（通过callWithTimeout方法调用，并实现timeout功能），用于运行翻转文件的计划任
菜菜光·2015-03-05 23:15

flume源码学习7-SinkProcessor相关类

org.apache.flume.SinkProcessor扩展了LifecycleAware,Configurable接口的接口类，操作多个sink的抽象层（类似于proxy），用来分配给SinkRunner对象抽象方法：process和Sink的process方法类似（内部实现增加了选择Sink的功能）setSinks设置sinks具体实现类：org.apache.flume.sink.Sin
菜菜光·2015-03-03 22:00

flume源码学习7-SinkProcessor相关类

org.apache.flume.SinkProcessor扩展了LifecycleAware,Configurable接口的接口类，操作多个sink的抽象层（类似于proxy），用来分配给SinkRunner对象抽象方法：process和Sink的process方法类似（内部实现增加了选择Sink的功能）setSinks设置sinks具体实现类：org.apache.flume.sink.Sin
菜菜光·2015-03-03 22:00

flume源码学习7-SinkProcessor相关类

org.apache.flume.SinkProcessor扩展了LifecycleAware,Configurable接口的接口类，操作多个sink的抽象层（类似于proxy），用来分配给SinkRunner对象抽象方法：process和Sink的process方法类似（内部实现增加了选择Sink的功能）setSinks设置sinks具体实现类：org.apache.flume.sink.Sin
菜菜光·2015-03-03 22:00

flume源码分析-Sink

Sink 将从channel接收event，然后将event发往目标地址。    /** * * A simple sink which reads events from a channel and writes them to HBase. * This Sink uses an aysnchronous API internally and is likely
frankfan915·2014-07-14 17:00

flume源码分析-SinkProcessor

flume包括三种sink processor，DefaultSinkProcessor，FailoverSinkProcessor，LoadBalancingSinkProcessor   Default sink processor that only accepts a single sink, passing on process results without a
frankfan915·2014-07-14 15:00

flume源码分析-ChannelSelector

flume自带两种channelSelector。一种是MultiplexingChannelSelector，另一种是ReplicatingChannelSelector。   ReplicatingChannelSelector是将event发送到每个channel public class ReplicatingChannelSelector extends Abstract
frankfan915·2014-07-14 14:00

flume源码分析-channel

Channel相当于一个管道，source写数据到channel中，sink从channel取数据。Channel有三类，memory，file，jdbc。memory速度最快，但是当机器宕机的时候数据会丢失，file数据不会丢失，jdbc速度最慢，一般选择fileChannel。  Source中会调用ChannelProcessor的processEvent方法处理Log事件。对于每个chan
frankfan915·2014-06-08 20:00

flume源码分析-source

flume的source用于收集日志，父类为AbstractSource,下图中的其他类都继承于AbstractSource  AvroSource  lifecycleAware会调用start方法启动avroSource。avroSource主要启动了一个NettyServer用于接收数据，然后交由avroSource处理。@Override publicvoidstart(){ logg
frankfan915·2014-05-26 10:00

flume源码分析

flume是一个高可靠性的分布式的大文件收集系统。它提供了transaction来保证数据不会丢失。 flume官网：http://flume.apache.org/ Flume文档：http://flume.apache.org/FlumeUserGuide.html，http://flume.apache.org/FlumeDeveloperGuide.html   安装：从
frankfan915·2014-05-23 15:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他