Flume-NG

Flume-NG源码分析-整体结构及配置载入分析

弦外之音很多朋友都在问我，经常看各种框架的源码会不会感到很枯燥，是什么东西在驱动着我一直看下去。其实我想说的很简单，作为一个程序员，不管你工作了多少年，能够经常学习和借鉴国内外优秀框架设计思想和程序架构，我想对我们来说是最直接的提高。终于开始Flume源码的分析研究工作了，我也是边学边和大家分享，内容上难免有不足之处，望大家见谅。在http://flume.apache.org上下载flume-1
小程故事多·2020-02-10 04:49

flume介绍与原理（转载）

尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一
晴天哥_374·2019-12-19 18:34

Flume-ng源码解析之Sink组件

如果你还没看过Flume-ng源码解析系列中的启动流程和Channel组件，可以点击下面链接：Flume-ng源码解析之启动流程Flume-ng源码解析之Channel组件作为启动流程中第二个启动的组件
_和_·2019-12-13 05:11

Flume 实时获取日志内容插入MySQL

首先确保你的flume-ng可以启动，跳过个别步骤可自行百度。
陌上花開丶·2019-12-12 07:16

flume-ng version出现错误Error: Could not find or load main class org.apache.flume.tools.GetJavaPrope的解决办法

错误:找不到或无法加载主类org.apache.flume.tools.GetJavaProperty或者Error:Couldnotfindorloadmainclassorg.apache.flume.tools.GetJavaProperty一般来说是由于装了HBASE等工具的原因[root@masterconf]#flume-ngversionError:Couldnotfindorloa
三度·2019-10-12 14:00

【Flume】准实时增量采集MySQL数据到HBase和Hive的集成表

要从MySQL中准实时的采集数据，但官方没有相关实现，于是用自定义开源的source：https://github.com/keedio/flume-ng
一只瘦熊啊·2019-06-16 18:37

大数据之 Flume 监听 文件和文件夹 并上传至 hdfs

Flume可以监控我们需要的日记文件以及目录或者端口等，至于它的好处还挺多，安装Flume也挺简单，直接在flume-env.sh文件中配置Java的路径即可，它的帮助命令bin/flume-ng，至于其他的在这里不再一一介绍
小飞牛_666·2019-05-14 18:18

Flum基础实战

当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-
沙滩上的漫步者·2019-03-27 22:21

Flum基础实战

当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-
沙滩上的漫步者·2019-03-27 22:21

Flume-NG + HDFS + HIVE 日志收集分析

在收集TB级别的日志量上flume-ng是更好的选择，因为后面的存储是扩展性极佳的HDFS。
搞这个贵妇·2019-01-30 13:32

Flume学习-小项目实例

注意设定$FLUME_HOME，flume-ng执行时会去FLUME_HOME/lib下找jar0x02项目背景使用分层日志收集架构设计一个高可用的分布式日志收集系统，
迷路剑客·2018-10-06 22:31

kafka与hive对接

当前Flume有两个版本Flume0.9X版本统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有
婷宝iii·2018-08-05 14:40

flume-ng命令

flume-ng命令帮助：[[email protected]]#./bin/flume-nghelpUsage:.
Jay7925417·2018-05-31 10:14

大数据平台运维之Flume

Flume51.在master节点安装启动Flume组件，打开LinuxShell运行flume-ng的帮助命令，查看Flume-ng的用法信息，将查询结果显示如下。
bug发现与制造·2018-05-11 11:17

flume介绍与原理(一)

尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一
devcy·2018-04-02 15:54

Flume概念与原理、与Kafka优势对比

尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一
garagong·2018-03-27 11:15

nginx日志切割并使用flume-ng收集日志

nginx的日志文件没有rotate功能。如果你不处理，日志文件将变得越来越大，还好我们可以写一个nginx日志切割脚本来自动切割日志文件。第一步就是重命名日志文件，不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前，nginx还是会向你重命名的文件写日志，linux是靠文件描述符而不是文件名定位文件。第二步向nginx主进程发送USR1信号。nginx主进程接到
holdbelief·2018-03-24 00:22

flume介绍与测试

不断的完善与版本升级，推出了flume-ng，现在早已是Apache顶级项目之一。
浮生物语QAQ·2018-02-02 14:43

基于Flume的日志收集系统(一)架构和设计

转自http://www.aboutyun.com/thread-8317-1-1.html问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？
大时代_f479·2017-11-02 22:41

flume-NG采用syslogtcp方式监听端口

一、采集说明本采集方式使用socket通信的方式，向flume发送数据进行采集，采集后的数据存储到hdfs和kafka。二、配置文件1、source采集层port.properties#setagentnameagent.sources=r1agent.channels=c_kafkac_hdfsagent.sinks=s_kafka_k1s_kafka_k2s_kafka_k3s_hdfs_k1
day_one_step·2017-07-19 18:47

基于Flume的美团日志收集系统(一)架构和设计

转自：http://www.aboutyun.com/thread-8317-1-1.html问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？
旺旺_123·2017-06-21 14:40

flume-NG整合hdfs和kafka

flume版本：apache-flume-1.7.0-bin.tarhadoop版本：hadoop-2.7.3kafka版本：kafka_2.11-0.10.2.1zookeeper版本：zookeeper-3.4.6最近在安装搭建flume和kafka这两款软件，网上有很多这方面的简介，在这里，我把flume—NG和kafka、hdfs整合在一起。flume作为消息采集和传输系统，将数据落地到h
day_one_step·2017-06-08 15:22

自定义实现flume中的HbaseEventSerializer接口

前言：flume-ng里面的SimpleHbaseEventSerializer只提供了最简单的数据插入hbase功能，如果还有其他需要，就得自己写HbaseEventSerializer类，实现flume
小强签名设计·2017-06-05 16:16

Flume运行原理

尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一
Evankaka·2017-03-24 20:36

Kafka实时流数据经Storm至Hdfs

1.Kafka-Flume-Hdfs这种方法直接通过Flume-ng的Hdfs-Sink往Hdfs导数据，Hdfs-Sink用来将数据写入Hadoop分布式文
沧南·2017-03-14 18:16

Kafka实时流数据经Storm至Hdfs

1.Kafka-Flume-Hdfs这种方法直接通过Flume-ng的Hdfs-Sink往Hdfs导数据，Hdfs-Sink用来将数据写入Hadoop分布式文
沧南·2017-03-14 18:16

数据集成：Flume和Sqoop

Flume和Sqoop是Hadoop数据集成和收集系统，两者的定位不一样，下面根据个人的经验与理解和大家做一个介绍：Flume由cloudera开发出来，有两大产品：Flume-og和Flume-ng，
caosheng03·2016-12-12 15:18

数据集成：Flume和Sqoop

Flume和Sqoop是Hadoop数据集成和收集系统，两者的定位不一样，下面根据个人的经验与理解和大家做一个介绍：Flume由cloudera开发出来，有两大产品：Flume-og和Flume-ng，
大数据时代培训中心·2016-12-08 14:32

Flume-ng集群安装文档

Flume-ng集群安装文档（apache-flume-1.6.0-bin）一、环境搭建1.下载并解压安装包tarxvfapache-flume-1.6.0-bin.tar.gz2.配置环境变量root
桃花惜春风·2016-08-21 17:18

exec方式flume-ng配置

阅读更多producer.sources=r1producer.sinks=k1k2producer.channels=c1c2#Describe/configurethesourceproducer.sources.r1.type=execproducer.sources.r1.command=tail-F/home/tom/job/test/data/test.txt#Describethes
houston123·2016-08-17 14:00

flume-ng hdfs配置文件

阅读更多collection73Agent.sources=source73collection73Agent.sinks=sink73-1sink73-2collection73Agent.channels=channel73#configurationsourcecollection73Agent.sources.source73.type=avrocollection73Agent.sour
houston123·2016-08-17 14:00

flume-ng syslogtcp整合配置文件

阅读更多#configuration'flume78Agent'flume78Agent.sources=source78flume78Agent.sinks=sink78-1sink78-2flume78Agent.channels=channel78#configurationsinksgroupflume78Agent.sinksgroups=group78#configurationsou
houston123·2016-08-16 11:00

CDH 5.x 完全卸载指南

以下路径是默认安装配置下的用户数据所在目录：/var/lib/flume-ng/var/lib/hadoop*/var/lib/hue/var/lib/navigator/var/lib/oozie/var
mtide_net·2016-07-12 10:30

CDH 5.x 完全卸载指南

以下路径是默认安装配置下的用户数据所在目录：/var/lib/flume-ng/var/lib/hadoop*/var/lib/hue/var/lib/navigator/var/lib/oozie/var
mtide_net·2016-07-12 10:30

flume文件监控的source，支持断点续传功能

阅读更多基于flume-ng中原有exec的source类型，通过tail依赖于操作系统去监听文件内容变化，其次，不支持断点续传的功能：https://github.com/cwtree/flume-filemonitor-source
liyonghui160com·2016-06-13 12:00

flume-ng负载均衡load-balance、failover集群搭建

转自：http://blog.csdn.net/morning_pig/article/details/9093149集群采用3台机器：[html] viewplaincopyhost1 load-balance设置  host2 机器1  host3 机器2  其中，host1机器配置：[html] viewplaincopy#Define a memory channel called c1 
yongjian_luo·2016-04-29 17:00

Flume-ng TaildirSource 填坑

Flume-ng1.7.0中增加了TaildirSource，可以监控目录中文件的变化自动读取文件内容。不过实际应用时发现几个问题：1，不支持windows系统。2，如果文件改名了，文件内容会被重复读取。3，文件编码，只支持UTF-8格式。 针对上面问题作了如下改造：1．不支持windows系统是因为ReliableTaildirEventReader.getInode(Filefile)方法中的
linan·2016-04-25 14:00

日志系统之定时任务执行引擎

组件运行时监控从我之前分享的文章中不难看出我们日志系统的各个组件的选型：采集agent:Flume-NG消息系统:
yanghua_kobe·2016-04-23 22:00

玩转Flume之核心架构深入解析

玩转Flume之核心架构深入解析字数2224 阅读29 评论0 喜欢0前段时间我们分享过玩转Flume+Kafka原来也就那点事儿和Flume-NG源码分析-整体结构及配置载入分析这二篇文章，主要介绍了
flychao88·2016-04-01 15:00

Flume-ng 1.6.0安装、配置与使用

1.介绍FlumeNG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的FlumeOG到现在的FlumeNG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，FlumeNG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。F
ASIA_kobe·2016-03-29 20:00

Flume-NG源码分析-整体结构及配置载入分析

Flume-NG源码分析-整体结构及配置载入分析字数3281 阅读208 评论0 喜欢0弦外之音很多朋友都在问我，经常看各种框架的源码会不会感到很枯燥，是什么东西在驱动着我一直看下去。
flychao88·2016-03-23 07:17

HDFS HA、YARN HA、Zookeeper、HBase HA、Mysql、Hive、Sqool、Flume-ng、storm、kafka、redis、mongodb、spark安装

HDFSHA、YARNHA、Zookeeper、HBaseHA、Mysql、Hive、Sqool、Flume-ng、storm、kafka、redis、mongodb、spark0、集群规划   主机名
zys800228·2016-03-14 07:00

Spark和Flume-ng的整合

这篇文章主要是讲述开发SparkStreaming这块，因为Flume-ng这块不需要特别的处理，完全和Flume-ng之间的交互一样。所有的S
LW_GHY·2016-03-11 23:00

大数据日志收集框架之Flume入门

Flume是Cloudrea公司开源的一款优秀的日志收集框架，主要经历了两个大的版本，分别是 Flume-OG Flume-NG OG是0.9.x的版本，依赖zookeeper，角色职责不够单一， NG
九劫散仙·2016-02-29 13:00

征服flume之二——flume-NG安装

阅读更多1、将编译后的apache-flume-1.7.0-SNAPSHOT-bin.tar.gz包上传至linux服务器2、修改flume-env.sh配置文件，主要是添加java环境#LicensedtotheApacheSoftwareFoundation(ASF)underone#ormorecontributorlicenseagreements.SeetheNOTICEfile#dis
cpjsjxy·2016-02-24 11:00

征服flume之一——flume-NG的编译

当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构
cpjsjxy·2016-02-23 09:06

征服flume之一——flume-NG的编译

当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过
cpjsjxy·2016-02-22 17:00

flume-ng 集群搭脚本

#!/bin/bash #author：xirong #date:2015-02-06 #####搭建flume集群的脚本 #注意： #1.需要jdk7环境，如果没有Java环境，请配置 #2.有/home/work目录，否则无法安装 # #### #压缩文件解压 tar-zxfapache-flume-1.5.2-bin.tar.gz-C/home/work/fl
super-d2·2016-02-03 23:00

flume-ng 集群搭脚本

#!/bin/bash #author：xirong #date:2015-02-06 #####搭建flume集群的脚本 #注意： #1.需要jdk7环境，如果没有Java环境，请配置 #2.有/home/work目录，否则无法安装 # #### #压缩文件解压 tar-zxfapache-flume-1.5.2-bin.tar.gz-C/home/work/fl
super-d2·2016-02-03 23:00

flume-ng自定义插件部署

插件写好之后打包上传，将开发的jar包加入到flume中方法一:进入vi/etc/profile在文件中加入exportFLUME_CLASSPATH=XXX/XX/XXX.jar在CALSSPATH的尾部加入:$FLUME_CLASSPATH,然后保存退出后，在命令行执行sh/etc/profile，通过在命令行输入flumeclasspath查看插件jar包是否在其中，在其中表示配置完成（注：
张欢19933·2016-01-21 15:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他