FLUME

日志采集组件Flume

1、Flume概述Flume是Cloudera开发的一个分布式的、可靠的、高可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化的数据存储系统中。
shinelord明·2023-04-20 02:30

日志文件数据采集组件

1、日志文件数据采集组件对比(后续逐个介绍)方案架构特点ApacheFlume由source,channel、sink组成。
shinelord明·2023-04-20 02:30

新一代云原生日志架构 - Loggie 的设计与实践

目前已经开源：https://github.com/loggie-io/loggie1.背景严选日志平台初期，使用filebeat采集云内日志，用flume采集云外日志。
wangyishufan·2023-04-19 11:05

六大主流大数据采集平台架构分析

今天为大家介绍几款数据采集平台：ApacheFlumeFluentdLogstashChukwaScribeSplunkForwarder大数据平台与数据采集任
带着希望活下去·2023-04-19 06:27

大数据开发必备面试题Flume篇合集

大数据开发必备面试题Flume篇合集1、详细介绍Flume有哪些组件？2、你是如何实现Flume数据传输的监控的？3、Flume参数怎么调优？4、简述下Flume的事务机制。
技术人小柒·2023-04-18 22:53

Flume之采集Nginx的日志

Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。
阿坤的博客·2023-04-18 12:18

Pyspark_用户画像项目_1(数据通过Sqoop导入到Hive中)

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-04-18 11:32

数据仓库环境准备-Hadoop篇

大数据软件版本说明:hadoop-3.1.4、zookeeper-3.5.8、kafka_2.12-2.6.0、flume-1.9.0、sqoop-1.4.6、hive-3.1.2、mysql-5.7.31
枫叶无言_1997·2023-04-18 01:44

windows 使用 hadoop3.2.2+flume1.9.0+kafka2.13-3.2

解压至D盘D:/bigdataimage.png创建data目录data目录在data目录创建所需namenode和datanode文件夹数据目录覆盖bin目录，注意解压路径为winutils-master\hadoop-3.2.2中的bin文件夹image.png使用对应的版本即winutils中的3.2.2文件夹中的bin目录修改文件地址D:\bigdata\hadoop-3.2.2\etc\
云顶天宫写代码·2023-04-18 00:13

Flume基操

Flume概述Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
curtime·2023-04-15 17:40

Spark 案例实操（Spark Streaming之WordCount）

SparkStreaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。
好好踢球啦·2023-04-15 00:29

Flume-Kafka-SparkStreaming对接案例实操

1.准备工作①一个java程序，需要有一些操作能够打印特定log日志,并打成jar包；②在linux服务器上安装flume、zookeeper、kafka；2.案例思路当我把jar包程序部署在linux
AiryView·2023-04-15 00:51

统计系统

spark+flume+hadoopflume将日志收集到HDFS文件系统中，spark进行统计计算
菜菜8602·2023-04-14 15:39

大数据架构模式lambda和kappa的对比

一.lambda架构如图所示，将收集到的数据通过kafka和flume等传递到计算层；数据存储在hdfs或者redis等组件中；计算部分分为两种，实时计算和离线计算；实时计算有storm,flink,stormstreaming
w970069059·2023-04-13 18:47

Flume环境配置以及基本操作

flume的作用是从接受外界的日志信息，然后输出到本地的一个框架。agent是Flume很重要的组成，包括有source，channel，sink。source是从外部接受日志。
muffinfeng·2023-04-13 16:07

Hadoop家族学习路线图

Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括，YARN,Hcatalog,Oozie,Cassandra,Hama,Whirr,Flume
凯睿看世界·2023-04-13 14:06

【面试感悟】java程序员职业规划 面试衡量的3方面（项目经验，基本技术，个人潜力）面试心态，工作心态

同时自己对大数据分析比较刚兴趣，趁着自己自由时间比较多，所以又把hadoop整个离线分析框架（hdfs,yarm,hive,hbase,flume），以及
alwarse·2023-04-13 09:33

ntp协议客户端服务器模式,思科配置NTP客户端服务器模式

思科配置NTP客户端服务器模式内容精选换一换该操作指导安装工程师安装MRS集群所有服务(不包含Flume)的客户端。
叫我师父·2023-04-13 06:44

ElasticSearch(超详细解说)[springBoot整合ES并简单实现增删改查]

而且是非常完善的产品，ELK代表的是：E就是ElasticSearch，L就是Logstach，K即使KibanaE:ElasticSearch搜索和分析的功能；L:Logstach搜索数据的功能，类似于flume
蓝桉不遇释怀·2023-04-12 13:14

JEESZ架构、分布式服务：Dubbo+Zookeeper+Proxy+Restful

分布式分布式服务：Dubbo+Zookeeper+Proxy+Restful分布式消息中间件：KafKa+Flume+Zookeeper分布式缓存：Redis分布式文件：FastDFS负载均衡：Keepalived
chuangyipang5981·2023-04-11 19:51

大数据学习——Flume入门

文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据（官方案例）2.2.2、实时监控单个追加文件
5akura·2023-04-11 19:21

Flume的可靠性保证

Flume的可靠性保证：故障转移、负载均衡，多层代理官网的配置：https://flume.apache.org/FlumeUserGuide.htmlFlume的一些组件（如SpoolingDirectorySource
达微·2023-04-11 11:21

大数据平台架构

开源工具：Apatat,Scriptella,Talend,kettle2.实时采集Flume,Flink流处理，批处理都可Kafka场景应用日志收集：一个公司可以用Kafka可以收集各种服务的log，
rona1·2023-04-11 08:03

网络安全漏洞分析之远程代码执行

介绍ApacheFlume是一个分布式的，可靠的，并且可用于高效地收集，汇总和移动大量日志数据的软件。它具有基于流数据流的简单而灵活的体系结构。
没更新就是没更新·2023-04-10 23:53

flume源码导入

一、主要模块说明flume-ng-channels里面包含了filechannel，jdbcchannel，kafkachannel,memorychannel通道的实现。
猪猪侠来了·2023-04-10 20:55

Flume安装与配置

1.下载官网Flume官网地址：http://flume.apache.org/下载地址：http://archive.apache.org/dist/flume/2.安装步骤（1）将apache-flume
_当时年少春衫薄·2023-04-10 05:59

分布式系统——服务端监控

目前，常用的日志采集工具有很多，比如，ApacheFlume、
白coderT·2023-04-09 17:10

spark第六篇：Spark Streaming Programming Guide

数据可以从Kafka，Flume或TCPsocket等许多来源获取，并且可以使用复杂的算法进行处理(比如map，reduce，join，window等高级函数)。
weixin_33801856·2023-04-09 12:14

sparksql java 实例_sparkStreaming结合SparkSql实例

Flume+Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多个消费者实时消费数据，包括
碧海云天97·2023-04-09 12:43

SparkStreaming

SparkStreaming1.SparkStreaming简介SparkStreaming是流式处理框架，是SparkAPI（RDD）的扩展，支持可扩展、高吞吐量、容错的准实时数据流处理实时数据的来源可以是：Kafka,Flume
爱过java·2023-04-09 12:34

Spark Streaming及示例

数据可以从许多来源获取，如Kafka，Flume，Kinesis或TCPsockets，并且可以使用复杂的算法进行处理，这些算法
Joker_Jiang3·2023-04-09 12:59

10 kafka生产者发送消息的原理

通用是不使用这个拦截器的，使用的是Flume的拦截器，对数据进行加工不使用Java的序列
水无痕simon·2023-04-09 11:06

大数据项目之电商数据仓库系统回顾

）五、实训中用到的课程知识点六、实训中遇到的问题及解决方法七、课程实训体会与心得八、程序清单一、实训课题大数据项目之电商数据仓库系统二、实训目的完成一个电商数仓项目：1、完成dadoop、kafka、flume
三月枫火·2023-04-09 11:31

离线数仓数据可靠性的问题

日志采集网络架构设计为两层第一级采用了tailDirSource,fileChannel,avroSink的搭配,第二级采用了avroSource,fileChannel,hdfsSink的搭配tailDirSource实现了flume
JinVijay·2023-04-08 20:05

Hadoop组件

------------------------kafka-----------------------------------sqoop-------------------------------flume
dianhe8193·2023-04-08 17:35

数据仓库电商项目-整体架构

1.1技术选型数据采集：实时：flume-->kafka,DSG->kafka,离线：sqoop存储平台：底层存储HDFS，基础设施：hive（数据仓库基础设施）运算引擎：spark任务调度：azkaban
四月天03·2023-04-08 05:50

如何处理百亿级别的数据信息

--01平台简介我们的平台架构是基于Hadoop的办公生态插件，比如Ambari、spark、Flume等。基本上分为四个层次，第一个数据源，主要是收集数据库m
蜀州凯哥·2023-04-08 05:17

使用log4j将数据流入flume

最近做了一个log抽取的项目，采用log4j+flume实现，在此分享记录一下。准备什么是flume？flume是一个提供高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
码农峰·2023-04-07 22:42

vm中flume的安装

上传到/home/hadoop目录解压sudotar-xvfapache-flume-1.9.0-bin.tar.gz-C/usr/local重命名sudomv/usr/local/apache-flume
琳小小小·2023-04-07 18:13

了解flume sqoop

Flume是一个分布式的、高可靠的、高可用的将大批量的不同数据源的日志数据收集、聚合、移动到数据中心（HDFS）进行存储的系统1、可以高速采集数据，采集的数据能够以想要的文件格式及压缩方式存储在hdfs
琳小小小·2023-04-07 18:13

新手入门大数据，认识大数据学习路线

一、数据采集与预处理FlumeNGNDCLogstashSqoop流式计算Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban
金光闪闪耶·2023-04-07 13:48

数据采集之用户行为日志采集

2.同时进行日志采集的两台flume也分别在102和103的机器上，在flume组件的组件方面两台机器是一样的，使用的是taildirSource(特点：支持断点续传)kafkachannel进行缓冲和聚合另外还有一个
BadManChd·2023-04-07 10:11

用户行为日志分析

访问特征：点击URL，从哪个url跳转过来的（referer），跳转页面上停留时间3.访问信息：session_id,访问ip（访问城市）用户行为日志分析的意义：离线数据处理架构：1.数据采集使用工具：flume
慧有未来·2023-04-07 10:38

六阶段大数据--day06--Apache Flume/ Source案例练习/ 集群部署

一ApacheFlume1．概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。
心猿意码~~·2023-04-07 08:34

Pyspark基础入门5_RDD的持久化方法

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-04-07 05:47

Pyspark基础入门6_RDD的共享变量

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-04-07 05:16

二.Flume部署及使用

4.1、文件配置查询JAVA_HOME:echo$JAVA_HOME显示/opt/module/jdk1.8.0_144/opt/module/jdk1.8.0_144安装Flume[itstar@bigdata113software
临时_01e2·2023-04-06 17:40

Pyspark_结构化流1

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-04-06 09:45

Pyspark_结构化流2

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-04-06 09:45

Pyspark_结构化流3

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-04-06 09:15
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他