flume)

Kafka学习笔记二：Flume+Kafka安装

Flume介绍Flume是流式日志采集工具，FLume提供对数据进行简单处理并且写到各种数据接收方（可定制）的能力，Flume提供从本地文件（spoolingdirectorysource）、实时日志（
开发者连小超·2022-02-07 07:55

JEESZ架构、分布式服务：Dubbo+Zookeeper+Proxy+Restful

分布式分布式服务：Dubbo+Zookeeper+Proxy+Restful分布式消息中间件：KafKa+Flume+Zookeeper分布式缓存：Redis分布式文件：FastDFS负载均衡：Keepalived
IT小跑兵·2022-02-07 03:52

flume的memeryChannel中transactionCapacity和sink的batchsize需要注意事项

最近在做flume的实时日志收集，用flume默认的配置后，发现不是完全实时的，于是看了一下，原来是memeryChannel的transactionCapacity在作怪，因为他默认是100，也就是说收集端的
香山上的麻雀·2022-02-06 19:05

hadoop学习笔记

技术变革技术驱动存储：文件存储==>分布式存储计算：单机==>分布式计算网络：万兆数据库：RDBMS==>NoSQL(HBase、Redis..)商业驱动从大量数据中获得价值技术概念数据采集：FlumeSqoop
异同·2022-02-06 08:13

Flume的使用

1）编写example.conf文件（可以写在任意位置）#example.conf:Asingle-nodeFlumeconfiguration#Namethecomponentsonthisagent
匪_3f3e·2022-02-05 18:49

flume如何监控多个动态变化的日志文件

同时监控多个文件并下沉到hdfs配置的agent：这种功能应用场景：是对历史文件进行迁移使用，并不适用实时收集场景，只能通过拆分日志实现准实时，而且必须要把要存储的文件扔进被flume监控的文件夹才能被自动监控并发送到
机灵鬼鬼·2022-02-05 16:01

基于Flume+Log4j+Kafka的日志采集架构方案

本文将会介绍如何使用Flume、log4j、Kafka进行规范的日志采集。
大时代_f479·2022-02-05 15:57

Hadoop入门一(3.2.2版本)

一.大数据广义大数据：以hadoop软件为主的生态圈(Sqoop、Flume、Spark、Flink、Hbase、Kafka和cdh环境)狭义大数据：hadoop软件本身，开源的(在gitlab上可以看到源代码和地址
comer_liu·2022-02-05 12:57

Flume日志采集框架构成组件

框架结构Flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。
·2022-01-19 12:16

流处理组件Flume使用攻略

Flume概述Flume是一种日志采集工具。
·2022-01-18 12:26

How old are you | 尚硅谷大数据之Canal视频教程发布

看看汪公子这一年都干了些什么：Flume新版视频教程Hadoop3.x高可用集群视频教程FlinkCDC视频教程Flink实时数仓视频教程Hive源码解析及优化视频教程Howoldareyou，怎么
·2021-12-30 14:36

Flume消费内外网分流配置的Kafka时遇到的坑

但我们通过Flume消费一个配置了内外网分流的Kafka（版本0.10.1）集群时遇到了坑，却没有从现有的文章中找到解决方案。
静若清池·2021-12-03 23:00

Storm核心组件、编程模型

流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储
__豆约翰__·2021-12-03 13:33

大数据离线处理数据项目（一） 网站日志文件数据采集 日志拆分 数据采集到HDFS并进行预处理

简介：这篇写的是大数据离线处理数据项目的第一个流程：数据采集主要内容：1）利用flume采集网站日志文件数据到access.log2）编写shell脚本：把采集到的日志数据文件拆分（否则access.log
'一生所爱·2021-11-30 19:36

自定义flume拦截器-练习1

参考文章1：Flume自定义Interceptor（拦截器）参考文章2：java静态内部类和非静态内部类对外部类属性的使用问题1：flume自定义拦截器时，为什么要分单event处理，和多个event处理问题
夜希辰·2021-11-29 21:47

Hadoop入门一(3.2.2版本)

一.大数据广义大数据：以hadoop软件为主的生态圈(Sqoop、Flume、Spark、Flink、Hbase、Kafka和cdh环境)狭义大数据：hadoop软件本身，开源的(在gitlab上可以看到源代码和地址
jiangliu·2021-11-27 18:46

SparkStreaming与SparkSQL集成分析数据并将结果存入MySQL

SparkStreaming与SparkSQL集成分析数据并将结果存入MySQL一、前提说明二、实现步骤一、前提说明安装了Flume本案例实现流程图：本案例实现的功能是：实现wordcount功能，并将每次的分析结果保存到数据库中二
若兰幽竹·2021-11-25 00:26

大数据面试题

大数据面试题一、Linux常用高级命令二、shell三、hadoop四、zookeeper五、flume（三件事）六、Kafka（23件事）七、hive八、Sqoop九、AzkabanoozieairflowDolphinScheduler
cpuCode·2021-11-24 19:15

Shell脚本运行中的停止方法实现

方式1killallfile-flume-kafka说明：killall是一个命令，不是killall，file-flume-kafka是脚本名，此方法简单粗暴。
·2021-11-24 13:26

Flume面试题整理

1、Flume使用场景（☆☆☆☆☆）线上数据一般主要是落地（存储到磁盘）或者通过socket传输给另外一个系统，这种情况下，你很难推动线上应用或服务去修改接口，实现直接向kafka里写数据，这时候你可能就需要
大数据技术派·2021-11-14 15:00

Flume 日志文件/实时数据流采集框架 概念及原理介绍

尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一
章云邰·2021-11-13 16:38

Flume的安装及简单使用

Flume的安装及使用Flume的安装1、上传并解压tar-zxvfapache-flume-1.6.0-bin.tar.gz2、重命名目录，并配置环境变量mvapache-flume-1.6.0-bin
時計の針·2021-11-11 16:12

吐血整理：常用的大数据采集工具，你不可不知

1FlumeFlume作为Hadoop的组件，是由Cloudera专门研发的分布式日志收集系统。尤其近几年
·2021-11-10 16:08

flume详解

定义flume全称ApacheFlume技术角度：使用Java语言开发的一个分布式、高可靠、高可用中间件项目角度：最早是Cloudera提供的日志收集系统，现在是Apache软件基金会（ASF）的顶级项目
·2021-11-05 19:12

浅析大数据技术架构

数据源的种类比较多：1、网站日志作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，一般是在每台网站日志服务器上部署flumeagent，实时的收集网站日志并存储到HDFS上。
·2021-10-22 10:36

尚硅谷Kylin视频教程发布！

来来来，视频教程应有尽有：DataX、大数据监控告警系统、Superset、FlinkCDC、Flume、数据仓库4.0、ClickHouse、Hive源码解析及优化、Zookeeper、Elasticsearch
·2021-10-20 10:56

2021-10-17

Hadoop并不只是单单一个技术，而是一个生态圈，里面包括Spark、Flume、HBase、Kafka、Sqoop、Hive、Oozie、Azkaban、Zookeeper。
bingo fighting·2021-10-17 17:50

基于Centos7的Flume安装

目录一：Flume的安装二：Flume案例一：Flume的安装1）将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下2）解压apache-flume
天才少年137·2021-10-13 22:02

flume学习之企业架构案例

flume学习之进阶Flume事务主要是用来保证数据的一致性，要么都成功，要么都失败。
倔强的耗子·2021-10-12 00:02

数据采集框架 Flume

FlumeFlume官网Flume概述Flume架构1.Agent2.Source3.Sink4.Channel5.Event6.ChannalSelector7.Interceptor拦截器8.SinkProcessorFlume
你怎么连话都说不清楚丶·2021-10-07 15:33

Kafka丢失数据问题优化及重复消费原因分析

比如Kafka的数据是由flume
·2021-09-27 10:39

kafka

Kafka官网kafka.apache.org1.官网的介绍消息中间件承上启下缓冲稳稳的消费flume-->kafka-->ss/flinkdistributedeventstreamingplatform2
小李_同学·2021-09-07 17:57

Lenovo x DorisDB：简化数据处理链路，极大提升 BI 分析效率

用Flume来同步日志文件到Hive。通过爬虫技术将网上数据爬取下来，存储到RDBMS，再由Sqoop读取RDBMS，导入到Hive。
·2021-08-19 00:00

如何远程调试自定义开发的Flume应用

一、前言Flume作为当下最流行的大数据采集组件之一。
·2021-08-16 11:23

大数据工程师入门系列 - 常用数据采集工具（Flume、Logstash 和 Fluentd）

作者：幻好来源：恒生LIGHT云社区大数据的价值在于把数据变成某一行为的结论，这一重要的过程成为数据分析。提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。具体从整个过程来看，数据分析其实可以大致分为四个步骤：数据采集，数据存储，数据计算，数据可视化。其中大数据的数据采集这一过程是最基础，也是最重要的部分。针对具体的场景使用合适的采集工具，可以大大提高效率和可靠性
·2021-08-10 15:40

Flume【基础知识 01】简介 + 基本架构及核心概念 + 架构模式 + Agent内部原理 + 配置格式（一篇即可入门Flume）

1简介ApacheFlume是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。
シ風·2021-08-08 20:45

第二章 项目需求及架构设计

活动的核心主题5.采用即席查询工具，随时进行指标分析6.对集群性能进行监控，异常报警7.元数据管理8.质量监控2.2项目框架2.2.1技术选型主要考虑：数据量、业务需求、行业内经验、维护成本、总预算数据采集传输：Flume
王雨_f6af·2021-07-27 20:54

大数据学习之：Flume

flume作用从磁盘采集文件发送到HDFS数据采集来源：系统日志文件、Python爬虫数据、端口数据数据发送目标：HDFS、Kafkaflume组成agent是一个独立的Flume进程，包含组件Source
我问你瓜保熟吗·2021-07-21 15:17

flume环境的搭建

简介ApacheFlume是一个分布式、高可靠和高可用的收集、集合和将大量来自不同来源的日志数据移动到一个中央数据仓库。ApacheFlume的使用不仅限于日志数据聚合。
盗梦者_56f2·2021-06-27 17:22

Filebeat 收集日志的那些事儿

开源日志收集组件众多，之所以选择Filebeat，主要基于以下几点：功能上能满足我们的需求：收集磁盘日志文件，发送到Kafka集群；支持多行收集和自定义字段等；性能上相比运行于jvm上的logstash和flume
扫帚的影子·2021-06-26 18:41

flume 入门

前言本文是基础性文章，针对初次接触flume的朋友，简化了大部分内容，后续有时间会加上相关高级使用为什么需要flume？解耦：对于数据产生者，不关心数据被谁使用，对于数据使用者，不关心数据从哪来。
code_solve·2021-06-26 11:40

spark从入门到放弃四十二:Spark Streaming(2) 工作原理

它支持从多种数据源读取数据，比如kafka,flume,ZeroMQ等等并且能够使用类似高阶函数的复杂算法来进行数据处理，比如mapreduce,join等等。
意浅离殇·2021-06-25 22:53

flume采集rsync文件

flume现在我们常使用agent.sources.s1.type=TAILDIR的方式，就是采集文件末尾追加内容，然后发送kafka或者其他信息收集软件，rsync的一般参数rsync-avz并不是纯文件末尾追加内容的形式
香山上的麻雀·2021-06-23 11:04

Flume同步到hdfs上根据文件名自动创建目录源码更改

背景：现项目从外围数据接收到文件通过Flume-ng同步到hdfs上，但Flume只能根据sink配置到指定目录，无法根据文件名生成相应的hdfs目录。
baker_dai·2021-06-22 13:43

Flume日志数据采集

，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：2.Flume
JN冰·2021-06-22 08:06

flume介绍及基本配置

Flume是一个分布式的，可靠的，可用的，非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务。Flume仅仅运行在linux环境下。
明明德撩码·2021-06-21 04:16

flume+kafka+SparkStreaming+mysql+ssm+高德地图热力图项目

一、概述本篇文章主要介绍如何使用SparkStreaming+flume+Kafka实现实时数据的计算，并且使用高德地图API实现热力图的展示。
__元昊__·2021-06-21 02:58

Flume 数据采集配置

1.Agent配置Source监控文件夹，Channel保存至内存，Sinks保存至HDFS#定义agent、source、channel、sink的名称a1.sources=r1a1.channels=c1a1.sinks=k1#定义数据来源（Source）##此处定义为监控/opt/logs目录的新增文件a1.sources.r1.type=spooldira1.sources.r1.spoo
Finok·2021-06-20 05:19

JEESZ架构、分布式服务：Dubbo+Zookeeper+Proxy+Restful

分布式分布式服务：Dubbo+Zookeeper+Proxy+Restful分布式消息中间件：KafKa+Flume+Zookeeper分布式缓存：Redis分布式文件：FastDFS负载均衡：Keepalived
IT达人Q·2021-06-19 20:47

flume

协作框架之Flume1.概念FlumeCloudera公司开源的框架高效的收集海量日志文件官网应用场合日志来源于apache/Nginx应用服务器的日志-->HDFSFlume+kafka--->Storm
Bottle丶Fish·2021-06-19 16:17
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他