flume-ng

Flume介绍及调优

当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flu
桓桓桓桓·2024-09-03 01:04

FLUME-NG 使用总结

FLUME-NG使用总结1、Flume-NG概述2、Flume-NG架构设计要点3、FlowPipeline4、FlumeNG三个组件概要4.1、FlumeSource4.2、FlumeChannel4.3
.道不虚行·2024-02-11 09:34

记Flume-NG一些注意事项

记Flume-NG一些注意事项(不定时更新，欢迎提供信息)这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。
达微·2024-01-06 19:46

Flume+Kafka双剑合璧玩转大数据平台日志采集

为此建议将日志采集分析系统分为如下几个模块：数据采集模块：负责从各节点上实时采集数据，建议选用Flume-NG来
java菜·2023-12-07 00:17

Flume 概述+环境配置+监听Hive日志信息并写入到hdfs

当前Flume有两个版本，Flume0.9x版本之前的统称为Flume-og，Flume1.X版本被统称为Flume-ng。参考文档：http
Transkai47·2023-12-06 12:40

Flume+Kafka双剑合璧玩转大数据平台日志采集

即：当数据量增加时，可以通过增加节点进行水平扩展为此建议将日志采集分析系统分为如下几个模块：数据采集模块：负责从各节点上实时采集数据，建议选用Flume-NG来实现。数据
浪尖聊大数据-浪尖·2023-12-05 02:12

Flume原理剖析

其中Flume-NG是Flume的一个分支，其目的是要明显简单，体积更小，更容易部署，其最基本的架构如下图所示：Flume-NG由一个个Agent来组成，而每个Agent由Sourc
Hello.Reader·2023-08-10 08:30

【电影推荐系统】实时推荐

概览技术方案：日志采集服务：通过利用Flume-ng对业务平台中用户对于电影的一次评分行为进行采集，实时发送到Kafka集群。
编程小白呀·2023-08-02 06:35

Flume自定义Source，Interceptor，sink

当flume-ng启动时，会从plugins.d文件夹中查找插件，并添加进来。Eachplugin(subdirect
mapreduce·2023-03-27 15:28

Flume将 kafka 中的数据转存到 HDFS 中

flume1.8kafkaChannel+HDFSsink(withoutsources)将kafka中的数据转存到HDFS中,用作离线计算,flume已经帮我们实现了,添加配置文件,直接启动flume-ng
XIAO_WS·2023-03-19 02:20

大数据面试题：介绍下Flume

尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng，同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一
蓦然_·2022-07-02 09:50

Flume 日志文件/实时数据流采集框架 概念及原理介绍

尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一
章云邰·2021-11-13 16:38

flume详解

当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume
·2021-11-05 19:12

Flume同步到hdfs上根据文件名自动创建目录源码更改

背景：现项目从外围数据接收到文件通过Flume-ng同步到hdfs上，但Flume只能根据sink配置到指定目录，无法根据文件名生成相应的hdfs目录。
baker_dai·2021-06-22 13:43

玩转Flume之核心架构深入解析

__biz=MzAwNjQwNzU2NQ==&mid=402561857&idx=2&sn=f79761fe60d0d51151eb3bba16d36080#rd）和Flume-NG源码分析-整体结构及配置载入分析
码农老K·2021-05-18 22:49

论坛日志分析：Flume+MapReduce+Hive+Sqoop+MySQL

（1）使用Flume-ng的spooldir类型的source来监听Linux文件系统上的一个目录，使用hdfs类型的sink将日志收集到hdfs上。
尚能饭否·2020-09-17 12:37

征服flume之一——flume-NG的编译

当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-n
iteye_12335·2020-09-16 05:43

flume

flume-ng处理数据有两种方式：avro-client、agent。avro-client：一次性将数据传输到指定的avro服务
goenkk·2020-09-13 18:15

Flume-ng分布式部署和配置

Flume-ng分布式部署总结1.日志总接收端的配置（负责接收各个节点发送过来的日志数据）,修改flume的安装目录下/conf/flume-conf.properties配置文件（默认没有，cpflume-conf.properties.templateflume-conf.properties
肖的博客·2020-09-13 18:01

flume-NG采用syslogtcp方式监听端

一、采集说明本采集方式使用socket通信的方式，向flume发送数据进行采集，采集后的数据存储到hdfs和kafka。二、配置文件1、source采集层port.properties#setagentnameagent.sources=r1agent.channels=c_kafkac_hdfsagent.sinks=s_kafka_k1s_kafka_k2s_kafka_k3s_hdfs_k1
菜鸟级的IT之路·2020-09-13 18:36

Flume（05）——高可用Flume-NG配置案例failover

角色分配搭建高可用Flume-NG,在集群有三台设备的情况下，可以如下分配：名称HOST角色Agent1node01WebServerCollector1node02AgentMstr1Collector2node03AgentMstr2Agent1
Fenggms·2020-09-13 18:14

Flume-ng 高可用搭建-与测试

前提：1)五台虚拟机（三台也可以）2)flume单节点测试并学会3)hadoop集群搭建完成FlumeNG集群，架构图Flume的存储可以支持多种，这里只列举了HDFS角色分配名称HOST角色Agent1chun1WebServerAgent2chun2WebServerAgent3chun3WebServerCollector1chun4AgentMstr1Collector2chun5Agen
春_·2020-09-13 18:56

flume-ng的CPU高消耗定位及改进

2019独角兽企业重金招聘Python工程师标准>>>公司用的flume-ng采集数据，数据源是日志文件，然后通过正则表达式来过滤指定日志，最后发送给kafka。
weixin_34295316·2020-09-13 18:15

数据采集工具flume

2012年，flume项目从孵化器变成了顶级项目，在孵化的这一年中，开发人员就已经开始基于StarTrekThemed标签对flume进行重构，并创建了flume-NG（FlumethenextGeneration
weixin_30445169·2020-09-13 18:07

记Flume-NG一些注意事项(不定时更新，欢迎提供信息)

这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source：1、spool-source：适合静态文件，即文件本身不是动态变化的；2、avrosource可以适当提高线程数量来提高此source性能；3、ThriftSource在使用时有个问题需要注意，使用批量操作时出现异常并不会打印异常内容而是"Thriftsource%scouldnotapp
R芮R·2020-09-13 18:36

高可用flume-ng搭建

一、概述1.通过搭建高可用flume来实现对数据的收集并存储到hdfs上，架构图如下：二、配置Agent1.catflume-client.properties#namethecomponentsonthisagent声明source、channel、sink的名称a1.sources=r1a1.sinks=k1k2a1.channels=c1#Describe/configurethesourc
hardecz·2020-09-13 18:29

flume集群高可用连接kafka集群

kafka集群上创建相应的topic2.单节点配置flume的agentsink2.1配置flume文件2.2测试数据消费情况3.flumeNG集群连接kafka集群3.1配置collector3.2启动flume-ng
yield-bytes·2020-09-13 18:00

均衡负载方式搭建高可用的flume-ng环境写入信息到hadoop和kafka

应用场景为多台agent推送本地日志信息到hadoop，由于agent和hadoop集群处在不同的网段，数据量较大时可能出现网络压力较大的情况，所以我们在hadoop一侧的网段中部署了两台flumecollector机器，将agent的数据发送到collector上进行分流，分成2个collector的数据导入hadoop，数据流图如下：图中只画了3个agent，实际应用场景中有多台，但是coll
小麒麟666·2020-09-13 17:07

你的flume-ng的第一篇博客

先说在前面，flume-ng后面的版本，我没仔细读changelog，比较农民，不知道新添了哪些特别NB的功能，有说错的地方，还请多多指教。
cuilanbo·2020-09-11 01:08

基于Flume的美团日志收集系统(一)架构和设计

转自：http://www.aboutyun.com/thread-8317-1-1.html问题导读：[color=red]1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？
王诗龄·2020-09-10 23:25

用flume-ng-sql-source 从mysql 抽取数据到kafka被storm消费

1.下载编译flume-ng-sql-source下载地址：https://github.com/keedio/flume-ng-sql-source.git安装说明文档编译和拷贝jar包2.编写flume-ng
wildservival·2020-08-24 18:19

Flume高可用，Flume负载均衡 03

1.高可用Flume-NG配置案例failover1.1需求在完成单点的FlumeNG搭建后，下面我们搭建一个高可用的FlumeNG集。
啊策策·2020-08-24 17:48

Flume-ng 高级功能

看看flume的高级功能：1flumechannelselectors如果没有特殊说明，则默认是replicating模式。还有Multiplexing、Custom模式可以选择。1ReplicatingChannelSelector需要设置以下的属性：selector.type默认值是replicating，用来设置该组件的名称selector.optional设置selector的channe
rolin-刘瑞·2020-08-24 16:34

flume-ng avro方式传输数据配置 flume-ng多节点实例

tail-to-avroagent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#Describe/configurespooldirsource1#agent1.sources.source1.type=spooldir#agent1.sources.source1.spoolDir=/var/log/apache/flum
liyonghui123·2020-08-24 14:40

Flume配置过程中的问题

在bin目录下，编辑flume-ng文件，在上图处加入：2>/dev/nu
D奋斗的小菜鸟！·2020-08-24 14:48

flume-ng负载均衡load-balance、failover集群搭建

集群采用3台机器：host1load-balance设置host2机器1host3机器2其中，host1机器配置：#Defineamemorychannelcalledc1ona1a1.channels=c1a1.sources=r1a1.sinks=k1k2a1.sinkgroups=g1a1.sinkgroups.g1.sinks=k1k2a1.sinkgroups.g1.processor.
chinalgf·2020-08-24 13:08

【Apache Flume系列】Flume-ng failover 以及Load balance测试及注意事项

好久没写博客了。最近在研究storm、flume和kafka。今天给大伙写下我测试flumefailover以及loadbalance的场景以及一些结论；测试环境包含5个配置文件，也就是5个agent。一个主的配置文件，也就是我们配置failover以及loadbalance关系的配置文件（flume-sink.properties），这个文件在下面的场景会变动，所以这里就不列举出来了，会在具体的
Jonathan-Wei·2020-08-24 13:57

基于flume-ng抓取mysql数据到kafka

flume是一个日志收集器，更多详细的介绍可以参照官网:http://flume.apache.org/在apacheflume的官网上没有找到sql数据源数据抓取的source，可以利用github上的plugin插件:https://github.com/keedio/flume-ng-sql-source,1.4.3版本基于hibernate实现，已可以适配所有的关系型数据库。目前的实验环境
u011180846·2020-08-22 18:31

【Flume】flume中Avro Sink到Avro Source的性能测试，是否压缩，是否加密

从官方下载的flume-ng的源码里有单元测试的代码，本文就通过单元测试来体验下flume中avro的性能如何本文中的一个event的body内容大小是1KB，读者可自行组织文本，达到1KB即可，方便测试时
chiweitree·2020-08-17 21:37

Flume（1）使用入门

当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
aixian1969·2020-08-14 16:53

flume-ng性能优化与架构设计

flume-ng性能优化与架构设计，简单来讲，也主要包括以上部分。1,主键的参数设计1.1source的配置有时候不需要每台主机均安装flumeagent,可以和sshpass等命令结合使用,灵活收
hijk139·2020-08-11 21:39

flume 1.6.0 安装及配置

flume是一个日志收集系统，它可以自定义数据的来源和目的地，具体的介绍百度有一大把flume-ng的ng指的是nextgeneration就是新一代的意思对应的就有flume-og即老的版本flume
会吃猫的的鱼·2020-08-11 04:36

Flume-ng ThriftSource原理分析

ThriftIDLFlumeThriftIDL在client包里面，定义如下：namespacejavaorg.apache.flume.thriftstructThriftFlumeEvent{1:requiredmapheaders,2:requiredbinarybody,}enumStatus{OK,FAILED,ERROR,UNKNOWN}serviceThriftSourceProto
某先生xxxx·2020-08-11 04:58

Flume-ng安装与使用

一、FlumeNG核心概念二、FlumenNG数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成。Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source，比如上图中的WebServer
weixin_33698823·2020-08-11 04:19

flume-ng启动时遇到报错时的解决

在命令行下启动bin/flume-ng时,竟然遇到报错,找到如下解决办法错误如下：bin/flume-ng:line82:syntaxerrorinconditionalexpression:unexpectedtoken
vincentzhwg·2020-08-11 04:06

Flume-og和Flume-ng的变化

Cloudera开发的分布式日志收集系统Flume，可以实时的将分布在不同节点、机器上的日志收集到存储系统中。Flume初始的发行版本统称为FlumeOG（originalgeneration），属于cloudera。但随着Flume功能的扩展，FlumeOG代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其FlumeOG的最后一个发行版本0.94.0中，日志传输不稳定的现象尤为
Polaris-zlf·2020-08-11 04:14

flume ng高可用部署

Flume1.x版本的统称为Flume-ng。数据处理：Flume提供了从console（控制台）、RPC（Thrift-RPC）、text、tail、syslog（s
家冕·2020-08-11 03:57

nginx日志切割并使用flume-ng收集日志

nginx的日志文件没有rotate功能。如果你不处理，日志文件将变得越来越大，还好我们可以写一个nginx日志切割脚本来自动切割日志文件。第一步就是重命名日志文件，不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前，nginx还是会向你重命名的文件写日志，linux是靠文件描述符而不是文件名定位文件。第二步向nginx主进程发送USR1信号。nginx主进程接到
liyonghui123·2020-08-11 03:47

flume-ng安装，应用，几个简单测试例子!

官网文档：http://flume.apache.org/FlumeUserGuide.htmlFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume0.9X版本的统称Flume-og
java的爪哇·2020-08-11 03:03

flume-ng 问题处理（1）

1,flume日志报错，同时没能正常收集相关日志文件Causedby:org.apache.flume.ChannelException:Spaceforcommittoqueuecouldn'tbeacquiredSinksarelikelynotkeepingupwithsources,orthebuffersizeistootightatorg.apache.flume.channel.Me
iteye_4515·2020-08-11 03:30
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他