flume

夸父追日——大数据技术原理与应用

数据采集：kafka、flume、sqoop数据存储：mysql、hbase、hive、hadoop数据处理与分析：hadoop、spark、flink数据可视化：superset、ApacheZeppelin
Azury0910·2022-11-30 05:42

常用数据采集手段

用户行为数据采集埋点方式埋点采集数据的过程常规埋点示例埋点方案应具备四个要素常用埋点APP数据分析工具ETL——系统业务数据整合常用的ETL工具网络爬虫——互联网数据采集网络爬虫工作流程网络爬虫抓取策略网络爬虫系统架构网络爬虫定期更新策略ApacheFlume
Claret_YF·2022-11-29 18:31

Flume 实战案例 采集文件到HDFS

需求分析：采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs根据需求，首先定义以下3大要素采集源，即source——监控文件内容更新:exec‘tail-Ffile’下沉目标，即sink——HDFS文件系统:hdfssinkSource和sink之间的传递通道——channel，可用filechannel也可以用内存channel定义f
dakesong·2022-11-29 16:31

Flume05：【案例】采集网站日志上传至HDFS

前面我们讲了两个案例的使用，接下来看一个稍微复杂一点的案例：需求是这样的，1、将A和B两台机器实时产生的日志数据汇总到机器C中2、通过机器C将数据统一上传至HDFS的指定目录中注意：HDFS中的目录是按天生成的，每天一个目录看下面这个图，来详细分析一下根据刚才的需求分析可知，我们一共需要三台机器这里使用bigdata02和bigdata03采集当前机器上产生的实时日志数据，统一汇总到bigdata
做一个有趣的人Zz·2022-11-29 16:57

Flume实战案例（Flume接受telent数据，采集目录到HDFS、采集文件到HDFS、两个agent级联）

一、Flume接受telent数据第一步：开发配置文件vim/export/servers/flume/conf/netcat-logger.conf#定义这个agent中各组件的名字a1.sources
依旧ฅ=ฅ·2022-11-29 16:18

大数据实训项目

文章目录一、项目概况1、项目介绍2、项目要求3、爬取字段4、数据存储5、数据分析、转化、演示二、环境配置1、JDK2、Hadoop集群3、zookeeper4、hive5、sqoop6、flume三、爬取数据
3+2=小5？·2022-11-29 16:38

项目需求及架构设计

第2章项目需求及架构设计2.1项目需求分析用户行为数据采集平台搭建用户行为数据会以文件的形式存储在服务器，这个阶段需要考虑：采集用户行为数据使用的工具,需要提供详细的设计需求如：flume，flume采用的
一马什么梅一·2022-11-26 13:10

图神经网络相似度计算

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-23 19:01

大数据计算框架复习--相关概念

大数据计算模式：批处理计算(MapReduce,Spark)，流计算(Storm,Flume)，图计算，查询分析计算(Hive)。
飞翔的王老汉·2022-11-23 15:43

大数据处理技术-头歌平台-答案

初体验第一关ZooKeeper初体验第2关：ZooKeeper配置第3关：Client连接及状态ZooKeeper之分布式环境搭建第1关：仲裁模式与伪分布式环境搭建第2关：伪分布式体验及分布式安装配置Flume
从化北·2022-11-22 21:15

HIve数仓新零售项目DWS层的构建(Grouping sets)模型

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-21 18:24

HIve数仓新零售项目DWS层的构建(Full join)模型

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-21 18:24

Openai神作Dalle2理论和代码复现

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-21 18:53

HIve数仓新零售项目ODS层的构建

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-21 18:53

HIve数仓新零售项目DWD层的构建

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-21 18:53

Doris系列之建表操作

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-21 18:53

MySQL六种窗口函数用法案例

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-21 18:23

Transformer框架时间序列模型Informer内容与代码解读

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-21 18:22

MMOCR之多模态融合ABINET文字识别

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-21 18:22

HIve数仓新零售项目DWB层的构建

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-21 18:54

大数据、云计算系统高级架构师课程学习路线图

大数据、云计算系统高级架构师课程学习路线图大数据之Linux+大数据开发篇JavaLinux基础Shell编程Hadoop2.xHDFSYARNMapReduceETL数据清洗HiveSqoopFlume
tao_wei162·2022-11-20 13:55

模型剪枝大瘦身代码实战案例

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-11-20 10:33

spark-streaming pull方式拉取 flume-1.6.0-cdh5.10.1数据

注意：文章末尾提供apache-flume-1.6.0-cdh5.10.1-bin网盘资源连接1、flume配置文件flume-conf-spark-netcat-pull.propertiesa1.sources
sunnyboy_4·2022-11-20 09:45

大数据技术栈

clickhouse，presto，impala，TD，Greenplum离线计算：hive，Hbase，spark流计算：storm，sparkstreaming，flink，Kafkastreamingflume
辉常努腻·2022-11-20 04:32

大数据：Flume安装部署和配置

文章目录Flume简介一，Flume下载和安装1）登录[Flume官网](https://flume.apache.org/)，下载apache-flume-1.9.0-bin.tar.gz2）解压文件到
梁辰兴·2022-11-20 01:17

【电商数仓】日志采集架构设计原理、系统表结构解析、数仓分层相关概念、范式理论详解

文章目录一日志采集架构设计原理1为什么使用Flume将数据生产进kafka2为什么还需要一个消费的Flume3深入细节4业务日志采集二电商系统表1后台管理系统2电商业务表三数仓分层1分为哪几层2为什么要分层
OneTenTwo76·2022-11-16 07:01

电商离线数仓项目-生产Flume数据采集的配置(配置文件详解)

我们经常一提到Flume,就要想到Flume的三个部件,Source,Channel,Sink.这三个部件构成了Flume数据传输的通道.在我们这个项目当中,收集Flume布置在两台节点上,一台Flume
梦里Coding·2022-11-16 07:31

flume同时使用kafka source和kafka sink时数据会sink到source中的topic

最近想要使用flume加拦截器对kafka数据进行处理，但是使用时发现sink中配置的topic不起作用数据sink到source中配置的topic，然后就开始了循环，写进去读出来再写进去，查了老半天查到了这篇文章详细解释了原因
0TXY0·2022-11-16 07:31

（09）数仓-采集日志flume（写入kafka）

（1）flume（2）flume安装资源分配（3）flume组件选型（1）TaildirSource相比ExecSource、SpoolingDirectorySource的优势TailDirSource
大数据开发工程师-宋权·2022-11-16 07:01

数仓采集项目【04数仓采集模块之zookeeper，kafka，flume安装及kafka source sink channel的几个小案例】

安装流程（3）kafka群起/关脚本（4）kafka常用命令（5）kafka项目经验（a）producer压力测试（b）Consumer压力测试（c）kafka机器数量计算（d）kafka分区数量计算3flume
OneTenTwo76·2022-11-16 07:01

电商数仓3.0 数据采集模块之采集日志Flume安装

资料文档查看地址：http://flume.apache.org/FlumeUserGuide.htmlFlume官网地址：http://flume.apache.org/下载地址：http://archive.apache.org
SmallScorpion·2022-11-16 07:30

电商数仓3.0 数据采集模块之消费Kafka数据Flume安装

资料文档查看地址：http://flume.apache.org/FlumeUserGuide.htmlFlume官网地址：http://flume.apache.org/下载地址：http://archive.apache.org
SmallScorpion·2022-11-16 07:30

电商数仓flume

1、flume安装解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下tar-zxf/opt/software/apache-flume-1.9.0-bin.tar.gz-C
周虽旧邦其命维新·2022-11-16 07:00

大数据项目之电商数仓、日志采集Flume配置概述、日志采集Flume配置实操

文章目录4.用户行为数据采集模块4.3日志采集Flume4.3.2日志采集Flume配置概述4.3.2.1TailDirSource4.3.2.2KafkaChannel4.3.3日志采集Flume配置实操
Redamancy_06·2022-11-16 07:58

大数据项目之电商数仓、日志采集Flume、source、channel、 sink、Kafka的三个架构

文章目录4.用户行为数据采集模块4.3日志采集Flume4.3.1Kafka的三个架构4.3.1.1source4.3.1.2channel4.3.1.3sink4.3.1.4kafkasource4.3.1.5kafkasink4.3.1.6kafkachannel4.3.1.6.1
Redamancy_06·2022-11-16 07:28

Flink实时数仓数据采集流程和技术架构

一、系统架构前端埋点可以获取更多的信息，不仅可以获取用户点击浏览行为数据，还能获得用户定位位置信息等，滑动转跳一、日志数据采集SpringBoot-->Nginx-->（flume）-->Kafka--
四月天03·2022-11-15 10:42

flume的安装和配置

flume的安装和配置一、任务描述二、任务目标三、任务环境四、任务分析五、任务实施步骤1、解压flume压缩包步骤2、配置flume六、任务测试原创申明：未经许可，禁止以任何形式转载，若要引用，请标注链接地址全文共计
不懂开发的程序猿·2022-11-08 20:37

数据计算中间件技术综述

最下一层是数据采集，通常会采用kafka或者Flume将web日志通过消息队列传送到存储层或者计算层。
cowjlymz7800977460·2022-10-24 10:11

Hive的表操作3

大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2022-10-17 11:54

基于Hadoop搭建HA集群网盘系统

Hadoop云盘项目总结0.项目介绍介绍视频：基于Hadoop搭建HA高可用网盘系统视频地址：B站搭建过程：我的搭建过程小组成员的搭建过程项目地址待完善后会发出来技术栈:HDFS、Sqoop、Flume
每天都要加油呀！·2022-10-13 16:09

大数据采集技术工具及应用场景

（1）离线数据采集技术，首先要是基于文件的数据采集系统、日志收集系统等，代表性的工具有Facebook公司开发的Scribe、Cloudera公司开发的Flume和Apach
梯度科技·2022-10-13 15:02

OSCS开源安全周报第7期：本周投毒对象均为 NPM 仓库

本周安全态势综述OSCS社区共收录安全漏洞33个，公开漏洞值得关注的是ApacheFlume存在JNDI注入漏洞（CVE-2022-34916），ApacheAirflowDockerProvider<
开源生态安全OSCS·2022-10-12 21:44

大数据平台是什么？有哪些功能？如何搭建大数据平台？

典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。
cuijiao7259·2022-10-12 19:15

常见大数据面试题汇总带答案

大数据面试题汇总**牛客网刷sql题**redisflumeflink(大部分知识点写过的帖子里都有)mr，java,集群算法题kafka维度建模分为哪几种?
Direction_Wind·2022-10-12 10:55

网络安全漏洞分析之远程代码执行

介绍ApacheFlume是一个分布式的，可靠的，并且可用于高效地收集，汇总和移动大量日志数据的软件。它具有基于流数据流的简单而灵活的体系结构。
kali_Ma·2022-10-10 07:06

猿创征文｜大数据之离线数仓各工具常用命令

离线数仓各工具常用命令前言：近期学习大数据离线数仓，接触到了许多处理数据的应用及工具：Hadoop、hive、sqoop、azkaban、flume、datax、superset、zookeeper、Kafka
Chlin.Rei·2022-09-28 10:30

Flume 部署（1.9.0 入门版）

1.下载Flume安装包Flume官网地址：http://flume.apache.org/文档查看地址：http://flume.apache.org/FlumeUserGuide.html下载地址：
程序员 Harry·2022-09-27 16:04

大数据学习路径

即可免费领取一整套系统的大数据学习教程第一阶段linux+搜索+hadoop体系Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume
金罗老师·2022-09-25 07:07

大数据技术之Hive+Flume+Zookeeper+Kafka详解

一、Hive大数据业务分析1、Hive简介Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive本质是将HQL转化成MapReduce程序。（1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实现是MapReduce（3）执行程序运行在Yarn上Hive的
wespten·2022-09-21 14:12

数据采集模块——Flume消费Kafka数据写入到HDFS

一、项目背景1.实时数据写入到Kafkatopic中，经Flume批量采集到HDFS上。数据格式为标准JSON格式（不包含嵌套JSON）。2.测试环境模拟数据的采集过程。
Diego_zh·2022-09-21 11:16
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他