flume

Flume的可靠性保证

Flume的可靠性保证：故障转移、负载均衡，多层代理官网的配置：https://flume.apache.org/FlumeUserGuide.htmlFlume的一些组件（如SpoolingDirectorySource
达微·2023-04-11 11:21

大数据平台架构

开源工具：Apatat,Scriptella,Talend,kettle2.实时采集Flume,Flink流处理，批处理都可Kafka场景应用日志收集：一个公司可以用Kafka可以收集各种服务的log，
rona1·2023-04-11 08:03

网络安全漏洞分析之远程代码执行

介绍ApacheFlume是一个分布式的，可靠的，并且可用于高效地收集，汇总和移动大量日志数据的软件。它具有基于流数据流的简单而灵活的体系结构。
没更新就是没更新·2023-04-10 23:53

flume源码导入

一、主要模块说明flume-ng-channels里面包含了filechannel，jdbcchannel，kafkachannel,memorychannel通道的实现。
猪猪侠来了·2023-04-10 20:55

Flume安装与配置

1.下载官网Flume官网地址：http://flume.apache.org/下载地址：http://archive.apache.org/dist/flume/2.安装步骤（1）将apache-flume
_当时年少春衫薄·2023-04-10 05:59

分布式系统——服务端监控

目前，常用的日志采集工具有很多，比如，ApacheFlume、
白coderT·2023-04-09 17:10

spark第六篇：Spark Streaming Programming Guide

数据可以从Kafka，Flume或TCPsocket等许多来源获取，并且可以使用复杂的算法进行处理(比如map，reduce，join，window等高级函数)。
weixin_33801856·2023-04-09 12:14

sparksql java 实例_sparkStreaming结合SparkSql实例

Flume+Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多个消费者实时消费数据，包括
碧海云天97·2023-04-09 12:43

SparkStreaming

SparkStreaming1.SparkStreaming简介SparkStreaming是流式处理框架，是SparkAPI（RDD）的扩展，支持可扩展、高吞吐量、容错的准实时数据流处理实时数据的来源可以是：Kafka,Flume
爱过java·2023-04-09 12:34

Spark Streaming及示例

数据可以从许多来源获取，如Kafka，Flume，Kinesis或TCPsockets，并且可以使用复杂的算法进行处理，这些算法
Joker_Jiang3·2023-04-09 12:59

10 kafka生产者发送消息的原理

通用是不使用这个拦截器的，使用的是Flume的拦截器，对数据进行加工不使用Java的序列
水无痕simon·2023-04-09 11:06

大数据项目之电商数据仓库系统回顾

）五、实训中用到的课程知识点六、实训中遇到的问题及解决方法七、课程实训体会与心得八、程序清单一、实训课题大数据项目之电商数据仓库系统二、实训目的完成一个电商数仓项目：1、完成dadoop、kafka、flume
三月枫火·2023-04-09 11:31

离线数仓数据可靠性的问题

日志采集网络架构设计为两层第一级采用了tailDirSource,fileChannel,avroSink的搭配,第二级采用了avroSource,fileChannel,hdfsSink的搭配tailDirSource实现了flume
JinVijay·2023-04-08 20:05

Hadoop组件

------------------------kafka-----------------------------------sqoop-------------------------------flume
dianhe8193·2023-04-08 17:35

数据仓库电商项目-整体架构

1.1技术选型数据采集：实时：flume-->kafka,DSG->kafka,离线：sqoop存储平台：底层存储HDFS，基础设施：hive（数据仓库基础设施）运算引擎：spark任务调度：azkaban
四月天03·2023-04-08 05:50

如何处理百亿级别的数据信息

--01平台简介我们的平台架构是基于Hadoop的办公生态插件，比如Ambari、spark、Flume等。基本上分为四个层次，第一个数据源，主要是收集数据库m
蜀州凯哥·2023-04-08 05:17

使用log4j将数据流入flume

最近做了一个log抽取的项目，采用log4j+flume实现，在此分享记录一下。准备什么是flume？flume是一个提供高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
码农峰·2023-04-07 22:42

vm中flume的安装

上传到/home/hadoop目录解压sudotar-xvfapache-flume-1.9.0-bin.tar.gz-C/usr/local重命名sudomv/usr/local/apache-flume
琳小小小·2023-04-07 18:13

了解flume sqoop

Flume是一个分布式的、高可靠的、高可用的将大批量的不同数据源的日志数据收集、聚合、移动到数据中心（HDFS）进行存储的系统1、可以高速采集数据，采集的数据能够以想要的文件格式及压缩方式存储在hdfs
琳小小小·2023-04-07 18:13

新手入门大数据，认识大数据学习路线

一、数据采集与预处理FlumeNGNDCLogstashSqoop流式计算Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban
金光闪闪耶·2023-04-07 13:48

数据采集之用户行为日志采集

2.同时进行日志采集的两台flume也分别在102和103的机器上，在flume组件的组件方面两台机器是一样的，使用的是taildirSource(特点：支持断点续传)kafkachannel进行缓冲和聚合另外还有一个
BadManChd·2023-04-07 10:11

用户行为日志分析

访问特征：点击URL，从哪个url跳转过来的（referer），跳转页面上停留时间3.访问信息：session_id,访问ip（访问城市）用户行为日志分析的意义：离线数据处理架构：1.数据采集使用工具：flume
慧有未来·2023-04-07 10:38

六阶段大数据--day06--Apache Flume/ Source案例练习/ 集群部署

一ApacheFlume1．概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。
心猿意码~~·2023-04-07 08:34

Pyspark基础入门5_RDD的持久化方法

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-04-07 05:47

Pyspark基础入门6_RDD的共享变量

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-04-07 05:16

二.Flume部署及使用

4.1、文件配置查询JAVA_HOME:echo$JAVA_HOME显示/opt/module/jdk1.8.0_144/opt/module/jdk1.8.0_144安装Flume[itstar@bigdata113software
临时_01e2·2023-04-06 17:40

Pyspark_结构化流1

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-04-06 09:45

Pyspark_结构化流2

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-04-06 09:45

Pyspark_结构化流3

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-04-06 09:15

Pyspark_结构化流4

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-04-06 08:11

Spark从入门到放弃—Spark Streaming介绍

实时流可以有许多数据来源（例如Kafka，Flume，Kinesis或TCP套接字）等，并可以使用高级功能（如map，reduce，join和window）组成的复杂算法来处理数据。
HaloZhang·2023-04-05 22:25

大数据系列之Flume+kafka 整合

关于Flume的一些核心概念：组件名称功能介绍Agent代理使用JVM运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。
三万_chenbing·2023-04-05 14:19

hive hsql 漏斗模型_191_数仓项目_dwd层_Hive读取索引文件问题

Flume1.9+Kafka2.4.1+Sqoop1.4.7+MySQL5.7+Hadoop3.1.3+Hive3.1.2+Tez、Spark3.0.0+Ranger2.0+Presto+Kylin3.0
weixin_39746794·2023-04-05 14:31

flume安装与配置

目录flume描述flume用途flume基本组件flume采集数据会丢失吗？
难以言喻wyy·2023-04-05 07:30

Flume 将8888端口接收的数据存入hive中

一、a1.sinks.s1.type=hive（1）使用hive做flumesink时，对hive表的要求：表必须是事物表表必须是分区表表必须是分桶表表storedasorc即clustered分桶、transactional
BigData_001_Lz·2023-04-05 06:11

大数据培训之快速入门 Flume安装部署

1Flume安装地址1）Flume官网地址2）文档查看地址3）下载地址1）将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下2）解压apache-flume
尚硅谷铁粉·2023-04-05 03:58

Flume详解（包括flume框架，flume安装测试等内容）

CSDN话题挑战赛第2期参赛话题：大数据学习成长记录目录一、引入Flume是什么Flume能干什么Flume的特点Flume的版本FlumeOG到FlumeNGFlume的特性二、FlumeNG详解Flume
毫无感情的dj·2023-04-05 03:26

flume安装配置与应用

若需要相应的其他工具的配置，详细请看《hadoop大数据生态圈工具配置与应用》文章目录1、flume安装配置2、初步自定义采集方案测试flume负载均衡测试案例日志采集1、flume安装配置解压出来，mv
侬本多情。·2023-04-05 03:24

Flume详细配置

Flume：=====================Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。它有一个基于流数据的简单而灵活的体系结构。
BedrockOfAI·2023-04-05 03:52

CDH下配置Flume进行配置传输日志文件（尚硅谷版）

CDH下配置Flume进行日志采集配置说明：许多企业目前都在使用CDH进行大数据开发，CDH具有方便，高效，一键配置，方便管理和搭建大数据组件的特点，所以下面说一下尚硅谷的Flume配合Kafka进行日志文件的采集
Jecky不姓码·2023-04-05 03:50

最全Flume常用配置文件详情解析

最全Flume常用配置文件详情解析1、Source配置项(常见配置项)1.1AvroSource1.2NetCatSource1.3ExecSource1.4SpoolingDirectorySource1.5TaildirSource1.6ThriftSource1.7KafkaSource1.8SequenceGeneratorSource1.9HTTPSource2
律为·2023-04-05 03:13

Flume配置文件(多个sources,多个channels,自定义拦截器 )

#Describe/configurethesource#第一种监控:taildir监控目录a1.sources.r1.type=taildira1.sources.r1.positionFile=/flume
阿斗还能扶·2023-04-05 03:42

Flume的配置与使用

前提条件：安装好hadoop2.7.3（Linux系统下）安装好Flume，参考：Flume安装配置原理：Flume数据流模型题目：完成通过AvroSource接收外部数据源，数据缓存在memorychannel
Hadoop_Liang·2023-04-05 03:08

Flume配置文件详解

Flume配置文件详解1.基本组成(1)source是flume获取数据的部分，source的类型有很多种，这里只介绍两种我们常用的。
香蕉牛奶蛇皮走位·2023-04-05 03:07

Flume原理概述与配置文件编写说明

文章目录1.0Flume定义2.0Flume架构2.1Agent2.2Source2.3Sink2.4Channel2.5Event3.0事物处理与拓扑结构简介3.1Flume事物处理3.2FlumeAgent
Fang GL·2023-04-05 03:01

flume配置文件详解

a1.sources=r1a1.sinks=k1a1.channels=c1##注意：不能往监控目中重复丢同名文件a1.sources.r1.type=spooldir(cdh)/exec(cdh)/taildir(apache1.7版本之后,监控文件和目录,断点续查)a1.sources.r1.spoolDir=/root/logs2//监控的文件夹a1.sources.r1.fileHeade
宝罗·2023-04-05 03:27

Flume简介及安装

Flume简介及安装一.Flume简介1.什么是Flume？
May--J--Oldhu·2023-04-05 03:19

Flume简介和架构安装配置详解

flume简介Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。
尚硅谷铁粉·2023-04-05 03:16

2.东软跨境电商数仓项目技术选型

框架版本选型、服务器选型、集群规划文章目录东软跨境电商数仓项目技术选型、框架版本选型、服务器选型、集群规划1.数据采集传输技术选型1.1DataX和Sqoop比较1.2Maxwell和Canal的比较1.3使用flume
Mmj666·2023-04-04 12:10

Flume实现对文件的监控

官方说明sourcerunsagivenUnixcommandonstart-upandexpectsthatprocesstocontinuouslyproducedataonstandardout(stderrissimplydiscarded,unlesspropertylogStdErrissettotrue).Iftheprocessexitsforanyreason,thesource
匪_3f3e·2023-04-04 10:36
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他