Flume-NG

flume-ng的简单使用

首先说下怎么安装吧，flume-ng的安装，flume-ng安装特别简单1：首先下载安装包解压，然后进入到conf目录下，首先把flume-env.sh.template文件修改名字为flume-env.sh
小牛学堂2019·2020-08-11 02:07

flume-ng安装与使用

2019独角兽企业重金招聘Python工程师标准>>>1前言Flume开始由Cloudera公司开发，2011年Cloudera公司将Flume贡献给开源社区，现在ApacheFlume是ApacheSoftwareFoundation的一个顶级项目。目前Flume有两个可用的Release版本：0.9x和1.x。0.9x版本称为Flume-OG由Cloudera公司开发和维护，1.x版本称为Fl
weixin_34284188·2020-08-11 02:50

Flume-ng的原理和使用

1.介绍Flume是Cloudera提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume支持在日志系统中定制各类数据发送方，同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。Flume使用java编写，其需要运行在Java1.6或更高版本之上。官方网站：http://flume.apache.org/用户文档：http://flume.a
春宇大数据·2020-08-11 02:40

Flume-ng 1.6.0安装、配置与使用

1.介绍FlumeNG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的FlumeOG到现在的FlumeNG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，FlumeNG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。F
ASIA_kobe·2020-08-11 02:46

flume-ng单节点搭建

1概述flume是一个高可用、分布式的日志收集系统，同时flume支持对数据的简单处理，支持failover和负载均衡，支持可定制的数据源和数据存储能力2体系架构图3术语Agent:一个flume节点的实例,包括Source、Channel、SinkSource:完成对日志的收集,分成transtion和event传递到Channel中Source提供了各种实现，包括AvroSource、Exce
豹变·2020-08-10 04:07

Flume的简单介绍

当前Flume有两个版本,Flume0.9X版本之前的统称为Flume-og,Flume1.X版本被称为Flume-ng。主要区别如下:Flume-og中采用master结构,
Jimi编程2016·2020-08-10 04:43

高可用flume-ng搭建

一、概述1.通过搭建高可用flume来实现对数据的收集并存储到hdfs上，架构图如下：二、配置Agent1.catflume-client.properties#name the components on this agent  声明source、channel、sink的名称  a1.sources = r1  a1.sinks = k1 k2  a1.channels = c1    #De
weixin_34314962·2020-08-10 03:32

flume1.8.0的安装和使用

当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-o
蓝天星空·2020-08-09 22:11

flume详解

版本1.0以后的flume-ng以及0.9以前的flume-og，新旧版本区别很大。旧版本是一整套的分布式日志收集系统，分为agent，collector和storage三层架构。
yaolong336·2020-08-04 22:03

HDFS HA、YARN HA、Zookeeper、HBase HA、Mysql、Hive、Sqool、Flume-ng、storm、kafka、redis、mongodb、spark安装

HDFSHA、YARNHA、Zookeeper、HBaseHA、Mysql、Hive、Sqool、Flume-ng、storm、kafka、redis、mongodb、spark0、集群规划主机名IP安装的软件运行的进程
zys800228·2020-07-30 18:58

Flume-ng分布式环境的部署和配置

原文地址：http://www.linuxidc.com/Linux/2013-06/86598.htm1.实验场景操作系统：CentOS5.5JDK版本：1.7.0_21Flume版本：1.3.1Hadoop版本：0.20.2配置1个agent,2个collector,1个storage2.安装步骤JDK+flume#下载安装jdk1.7http://www.Oracle.com/technet
qinzl_1·2020-07-16 04:57

通过Flume拉取Kafka数据保存到ES

Flume官方文档上写的配置写法适用于es版本=2.0：https://github.com/lucidfrontier45/ElasticsearchSink2Requirements：Flume-NG
Meyaoo·2020-07-16 02:41

Flume-ng分布式环境的部署和配置(一)

1.实验场景操作系统：Centos5.5JDK版本：1.7.0_21Flume版本：1.3.1Hadoop版本：0.20.2配置1个agent,2个collector,1个storage2.安装步骤JDK+flume#下载安装jdk1.7http://www.oracle.com/technetwork/java/javase/downloads/index.htmltarzxvfjdk-7u21
weixin_33877885·2020-07-12 08:05

Flume-ng生产环境实践（三）实现文件sink，按照固定格式目录输出

自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。使用的时候配置如下：agent.sources=sourceagent.ch
tswisdom·2020-07-12 01:32

【Spark七十四】Spark Streaming整合Flume-NG二

在http://bit1129.iteye.com/blog/2184467一文中对SparkStreaming整合Flume-NG进行了基本的配置，并且SparkStreaming能够监听到来自于Flume
axxbc123·2020-07-11 02:44

玩转Flume之核心架构深入解析

前段时间我们分享过玩转Flume+Kafka原来也就那点事儿和Flume-NG源码分析-整体结构及配置载入分析这二篇文章，主要介绍了flume的简单使用和配置文件加载的全过程，那么今天我们重点分析flume
小程故事多·2020-07-02 08:40

Flume-ng源码解析之Source组件

如果你还没看过Flume-ng源码解析系列中的启动流程、Channel组件和Sink组件，可以点击下面链接：Flume-ng源码解析之启动流程Flume-ng源码解析之Channel组件Flume-ng
zk65645·2020-06-30 18:55

flume-ng编程之自定义拦截器

学习flume以来，实现了日志的多来源自动抽取和多target的自动发送等，但是一直以来的数据清洗过程一直是放在hadoop中用MR程序定时进行清洗的，有没有一种方式编程能够直接在flume中来进行相关的数据清洗数据匹配，过滤掉那些不规范的脏数据，于是决定打这个flume拦截器的主义，觉得只要把代码稍微改改，从拦截body开始自定义intercepter编程完成每个body字符串的解析字段的正则提
zfszhangyuan·2020-06-30 13:20

用Maven编译Apache flume-ng 1.5.0源码及问题解决

在今年的5月22号，Flume-ng1.5.0版本正式发布，关于Flume-ng1.5.0版本的新特性可以参见本博客的《ApacheFlume-ng1.5.0正式发布》进行了解。关于Apacheflume-ng1.4.0版本的编译可以参见本博客《基于Hadoop-2.2.0编译flume-ng1.4.0及错误解决》。本文将讲述如何用Maven编译Apacheflume-ng1.5.0源码。一、到官
yydcj·2020-06-30 11:29

日志系统之定时任务执行引擎

组件运行时监控从我之前分享的文章中不难看出我们日志系统的各个组件的选型：采集agent:Flume-NG消息系统:
vinoYang·2020-06-30 05:30

flume的相关知识

以上，推荐java72.下载安装flume（1）下载可以apache官网下载flume的安装包下载时注意，flume具有两个版本，0.9.x和1.x,两个版本并不兼容，我们学习的是最新的1.x版本，也叫flume-ng
xiaoyutongxue6·2020-06-30 01:18

flume-ng配置文件详解（三）

8ReplicatingChannelSelectorflume从一个agent1将event发送到多个通道，称为数据的复制关键配置：agent1.sources.r1.selector.type=replicating在192.168.100.200节点上[[email protected]]#viconf/replicate.confagent1.sour
豹变·2020-06-29 22:59

flume-ng配置文件详解（四）

1高可用对于一个系统而言，高可用指在一个固定时间内，系统无故障运行的时间。1.1Source高可用Agent实例用来作为Source源收集数据的时候，当Agent进程死掉时候，这时候会降低系统的高可用。Agent在supervise下启动，如果Agent进程死掉，会自动启动。对Agent进程进行监控，死掉之后进行报警。1.2Sink高可用Agent实例用来作为Sink存储数据的时候当Agent进程
豹变·2020-06-29 22:27

Flume-ng启动过程分析

Application.java入口函数main():...//加载flume的配置文件，初始化Sink,Source,Channel的工厂类PropertiesFileConfigurationProviderconfigurationProvider=newPropertiesFileConfigurationProvider(agentName,configurationFile);appl
某先生xxxx·2020-06-29 20:48

flume系列之Java heap space大小设置

当使用flume-ng进行日志采集的时候，如果日志文件很大，容易导致flume出现：java.lang.OutOfMemoryError:Javaheapspace这样的错误，这就需要调整flume相应的
---畅行天下---·2020-06-29 17:51

基于Flume的美团日志收集系统-----架构和设计

问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？
大数据技术·2020-06-29 11:43

Flume-ng运行出错： Caused by: java.net.BindException: 地址已在使用org.apache.flume.lifecycle.LifecycleSupervis

Flume下杀死collector再恢复出现错误2019-08-2915:57:52,578(lifecycleSupervisor-1-5)[ERROR-org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)]UnabletostartEventDrivenS
春_·2020-06-29 09:11

Centos7下Flume使用

当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过
Alenlyx·2020-06-29 07:39

Flume中阶应用——启动命令详解、组件范例说明、事务说明

/flume-ng[options]...commands:helpdisplaythishelptext#显示帮助信息agentrunaFlumeagent#启动flume代理avro-clientrunanavroFlumeclient
懒癌牙套妹·2020-06-29 06:31

flume的安装及使用

Flume基本概念Flume-NG是一个分布式，可靠，可用的系统，它能够将不同数据源的海量日志数据进行高效收集，聚合，移动，最后存储到一个中心化数据存储系统中。
腼腆的固执·2020-06-29 01:30

Flume的简介、原理与安装

尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一
俊杰梓·2020-06-28 19:11

玩转Flume之核心架构深入解析

前段时间我们分享过玩转Flume+Kafka原来也就那点事儿和Flume-NG源码分析-整体结构及配置载入分析这二篇文章，主要介绍了flume的简单使用和配置文件加载的全过程，那么今天我们重点分析flume
weixin_34358365·2020-06-28 17:13

JavaWeb项目中的配置log4j由Flume-ng(1.6.0)写入HDFS的项目实例

2019独角兽企业重金招聘Python工程师标准>>>提要：本文中项目代码运行在windows的eclipse开发环境下。注意事项：项目中需要引用Flume提供的jar包，最新版的Flume-1.6.0的jar包需要JDK1.7的环境，JDK1.8会报ClassNotFoundException:org.apache.flume.clients.log4jappender.Log4jAppende
weixin_34290352·2020-06-28 16:03

Flume-1.6.0学习笔记（二）flume-ng脚本介绍

Flume-NG的启动脚本文flume-ng[hadoop@nnode bin]$ flume-ngError: Unknown or unspecified command ''Usage: /usr
weixin_34220834·2020-06-28 14:20

flume-ng 自定义拦截器，对header中的字段进行正则匹配分离出更多header

2019独角兽企业重金招聘Python工程师标准>>>代码如下:packagecom.wy.flume.interceptor;importjava.util.List;importjava.util.Map;importjava.util.regex.Matcher;importjava.util.regex.Pattern;importorg.apache.commons.lang.Strin
weixin_34192732·2020-06-28 13:05

Flume-ng(Flume-1.6.0) CentOS7配置过程

2019独角兽企业重金招聘Python工程师标准>>>1、配置JDK环境（JDK6.0版本以上）解压JDKtar包到本地文件夹/usr/local/java目录。打开终端输入vi/etc/profile命令（使用GNOME桌面的话可以直接gedit/etc/profile直接save保存更方便）。按insert键在文件末尾追加：exportJAVA_HOME=/usr/local/java/jdk
weixin_34072458·2020-06-28 10:13

【Java】【Flume】Flume-NG启动过程源代码分析（一）

从bin/flume这个shell脚本能够看到Flume的起始于org.apache.flume.node.Application类，这是flume的main函数所在。main方法首先会先解析shell命令，假设指定的配置文件不存在就甩出异常。依据命令中含有"no-reload-conf"參数，决定採用那种载入配置文件方式：一、没有此參数。会动态载入配置文件，默认每30秒载入一次配置文件，因此能够
weixin_34004576·2020-06-28 09:59

flume spooldir 定期采集日期目录

flume源码下载地址：https://github.com/cloudera/flume-ng/tree/cdh5-1.6.0_5.10.2，SpoolDirectorySource在https://
weixin_33863087·2020-06-28 07:09

Flume-ng源码解析之Channel组件

如果还没看过Flume-ng源码解析之启动流程，可以点击Flume-ng源码解析之启动流程查看1接口介绍组件的分析顺序是按照上一篇中启动顺序来分析的，首先是Channel，然后是Sink，最后是Source
_和_·2020-06-28 06:23

Flume-ng的原理和使用

原文发表在：http://blog.javachen.com/2014/07/22/flume-ng.html1.介绍FlumeNG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的FlumeOG到现在的FlumeNG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，
weixin_33724570·2020-06-28 04:02

flume实例一、监听目录日志上传到其他服务器

一、flume-ng简介请参考官方文档：http://flume.apache.org/FlumeUserGuide.html二、实例需求说明：需要监控一个目录，并自动上传到服务器，且需要在传输过程中进行加密
王爷的大房子·2020-06-28 00:04

flume-ng安装及运行时出现的错误

1、到官方网上下载apache-flume-1.4.0-bin.tar.gz2、解压安装包tar-zxvfapache-flume-1.4.0-bin.tar.gz3、配置环境变量exportFLUME_HOME=/root/install/apache-flume-1.4.0-binexportPATH=$PATH:$FLUME_HOME/bin4、让配置文件生效source/etc/profi
wackycrazy·2020-06-27 12:18

Flume-NG 日志文件收集 简单实例

公司计划部署Flume日志采集系统，所以简单学习了一下相关的配置和使用。主要在自己的虚拟机上测试验证。虚拟机是CentOS6.7系统，Flume1.6.0。Flume安装很简单，下载官方软件包，解压，配置环境变量，注意需要JDK1.6以上版本支持。下面使用Flume实现简单的日志收集功能：将loga目录下新产生的日志文件自动收集到logb目录配置文件test.conf主要配置项如下。配置项中指定的
阿赖耶识_·2020-06-27 12:41

flume 1.9 源码阅读(三)

本节从Application入口类了解一下flume-ng如何启动。以及flume-ng-configuration模块是如何解析配置文件的。
赵大龙·2020-06-27 10:28

自定义的flume-ng的postgresql数据库sink

flume-ng本身支持的sink没有postgresql数据库的，正好现在有这样的需求，将日志记录按字段分隔存储到数据库中，所以自定义这样一个sink，用JAVA开发使用flume-ng提供的一些sdk
山水之间的雪人·2020-06-27 09:17

flume 1.4的介绍及使用示例

flume-ng是flume的新版本的意思，其中“ng”意为newgenerate
jack-zhu·2020-06-27 05:12

Flume-ng使用指南

Flume1.4.0UserGuideIntroductionOverviewApacheFlumeisadistributed,reliable,andavailablesystemforefficientlycollecting,aggregatingandmovinglargeamountsoflogdatafrommanydifferentsourcestoacentralizeddata
jack-zhu·2020-06-27 05:11

Flume-ng 例子

Flume是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据的简单处理，并写到各种数据接收方。其中相关组件如下：Agent：使用JVM运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。Source：从Client端收集数据，传递给Channel。Sink：从Channel收集
Polaris-zlf·2020-06-27 04:31

【Hadoop】Flume NG Getting Started（Flume NG 新手入门指南）翻译

获得FlumeNG从源码构建配置flume-ng全局选项flume-ngagent选项flume-ngavro-client选项提供反馈FlumeNG是什么？
_和·2020-06-27 02:24

Hadoop之--flume基础知识

当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有
Xiaolei.Shi·2020-06-27 00:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他