sparkStreaming

大数据技术之Flink

第1章Flink概述1.1Flink是什么1.2Flink特点1.3FlinkvsSparkStreaming表Flink和Streaming对比FlinkStreaming计算模型流计算微批处理时间语义事件时间
·2025-07-08 02:35

Spark Streaming 与 Flink 实时数据处理方案对比与选型指南

SparkStreaming与Flink实时数据处理方案对比与选型指南实时数据处理在互联网、电商、物流、金融等领域均有大量应用，面对海量流式数据，SparkStreaming和Flink成为两大主流开源引擎
浅沫云归·2025-06-27 02:10

Spark Streaming 原理与代码实例讲解

SparkStreaming原理与代码实例讲解1.背景介绍1.1实时流数据处理的重要性在当今大数据时代,海量的数据正以前所未有的速度不断产生。
AI智能应用·2025-06-22 12:35

HoRain云--SparkStreaming实时分析的7大优势解析

HoRain云小助手：个人主页⛺️生活的理想，就是为了理想的生活!⛳️推荐前些天发现了一个超棒的服务器购买网站，性价比超高，大内存超划算！忍不住分享一下给大家。点击跳转到网站。目录⛳️推荐1.与Spark生态的深度集成2.高吞吐量与水平扩展能力3.强大的容错机制4.灵活的状态管理与窗口操作5.丰富的输入/输出连接器6.开发与调试便捷性7.成本效益适用场景总结与其他流处理框架的对比总结SparkSt
HoRain 云小助手·2025-06-20 16:21

Spark快速入门与实战案例解析

环境配置与启动1.安装Java2.下载并配置Spark3.启动SparkShell实战案例：使用Spark进行数据分析1.准备数据2.编写Spark程序3.执行结果Spark扩展与高级应用1.数据流处理（SparkStreaming
喵手·2025-06-12 04:55

数据分析学习 Day_01

技术侧重：流式计算框架（如Flink,SparkStreaming,Storm）。批处理/离线分析特点：处理较长时间跨度内积累的海量历史数据（如日/周/月数据）。
Detachym·2025-06-11 18:19

征服Spark as a Service

是当今大数据领域最活跃最热门的高效的大数据通用计算平台，基于RDD，Spark成功的构建起了一体化、多元化的大数据处理体系，在“OneStacktorulethemall”思想的引领下，Spark成功的使用SparkSQL、SparkStreaming
wangruoze·2025-06-07 14:42

一天征服Spark！

是当今大数据领域最活跃最热门的高效的大数据通用计算平台，基于RDD，Spark成功的构建起了一体化、多元化的大数据处理体系，在“OneStacktorulethemall”思想的引领下，Spark成功的使用SparkSQL、SparkStreaming
wangruoze·2025-06-07 14:11

使用 PySpark 从 Kafka 读取数据流并处理为表

1.环境准备确保已安装:ApacheSpark(包含SparkSQL和SparkStreaming)KafkaPySpark对应的Kafka连接器(通常已包含在Spark发行版中)2.完整代码示例frompyspark.sqlimportSp
Bug Spray·2025-06-02 03:06

Spark实时流数据处理实例（SparkStreaming通话记录消息处理）

所用资源：通过网盘分享的文件：spark-streaming-kafka-0-8-assembly_2.11-2.4.8.jar等4个文件链接:https://pan.baidu.com/s/1zYHu29tLgDvS_L2Ud-22ZA?pwd=hnpg提取码:hnpg1.需求分析：假定有一个手机通信计费系统，用户通话时在基站交换机上临时保存了相关记录，由于交换机的容量有限且分散在各地，因此需要
qrh_yogurt·2025-05-27 16:20

【SparkStreaming】面试题

SparkStreaming是ApacheSpark提供的一个扩展模块，用于处理实时数据流。它使得可以使用Spark强大的批处理能力来处理连续的实时数据流。
言之。·2025-05-25 05:47

Spark入门秘籍

2.1电商行业：洞察用户，精准营销2.2金融行业：防范风险，智慧决策2.3科研领域：加速研究，探索未知三、Spark核心组件揭秘3.1SparkCore3.2SparkSQL3.3SparkStreaming3.4SparkMLlib3.5SparkGrap
£菜鸟也有梦·2025-05-22 11:35

TasksetManager冲突导致SparkContext异常关闭

背景介绍当正在悠闲敲着代码的时候，业务方兄弟反馈接收到大量线上运行的sparkstreaming任务的告警短信，查看应用的web页面信息，发现spark应用已经退出了，第一时间拉起线上的应用，再慢慢的定位故障原因
liujianhuiouc·2025-05-21 18:30

Flink和Spark的选型

Spark：基于微批处理（SparkStreaming）或连续处理（StructuredStreaming），延迟通常在秒
静听山水·2025-05-15 13:02

spark运行架构及核心组件介绍

目录1.Spark的运行架构1.1Driver1.2Executor1.3ClusterManager1.4工作流程2.Spark的核心组件2.1SparkCore2.2SparkSQL2.3SparkStreaming2.4MLlib2.5GraphX3
大数据知识搬运工·2025-05-13 07:06

大数据Flink相关面试题（一）

与SparkStreaming的架构差异？2.解释Flink的“有状态流处理”概念。3.Flink的流处理（DataStreamAPI）与批处理（DataSetAPI）底层执行模型有何不同？
从头再来的码农·2025-05-12 08:34

SparkStreaming之persist缓存

SparkStreaming之缓存与RDD的缓存类似，DStream也允许用户将数据持久化到内存中，只需要使用DStream.persist()方法，就会自动将DSstream中的数据缓存在内存中，这对需要多次计算的
稳哥的哥·2025-05-10 09:26

Kafka使用教程

流处理：与流处理框架（如ApacheFlink、ApacheSparkStreaming）结合，进行实时数据分析。微服务通信：作为微服务架构中的消息中间件，实现服务间异步通信。物联网（IoT）：
大三小小小白·2025-05-03 05:03

Kafka+sparkStreaming+Hbase(一)

一、说明1、需求分析实时定位系统：实时定位某个用户的具体位置，将最新数据进行存储；2、具体操作sparkStreaming从kafka消费到原始用户定位信息，进行分析。
郝少·2025-04-29 10:41

实时步数统计系统 kafka + spark +redis

基于微服务架构设计并实现了一个实时步数统计系统，采用生产者-消费者模式，利用Kafka实现消息队列，SparkStreaming处理实时数据流，Redis提供高性能数据存储，实现了一个高并发、低延迟的数据处理系统
ShAn DiAn·2025-04-29 10:39

Flume+kafka+SparkStreaming整合

一、需求模拟一个流式处理场景：我再说话，我编写好的一个sparkstreaming做词频统计1.模拟说话：nc-lk3399flumesource:avro(qyl01:3399)channel:memorysink
逆水行舟如何·2025-04-26 19:26

Spark SQL核心解析：大数据时代的结构化处理利器

它不仅整合了传统SQL的强大查询功能，还深度集成到Spark的计算框架中，实现了与其他组件（如SparkStreaming、SparkML等）的无缝协作。
北屿升：·2025-04-25 04:28

SparkStreaming概述

SparkStreaming主要用于流式计算，处理实时数据。DStream是SparkStreaming中的数据抽象模型，表示随着时间推移收到的数据序列。
淋一遍下雨天·2025-04-25 02:45

spark与kafka

sparkspark基础知识spark的任务提交流程shuffle过程分析rdd的特点与五大属性spark整合kafka1、SparkStreaming+Kafka----Receiver用的是Kafka
zqk-Sun·2025-04-24 18:19

kafka spark java_Kafka与Spark整合

在本章中，将讨论如何将apacheKafka与SparkStreamingAPI集成。Spark是什么？SparkStreamingAPI支持实时数据流的可扩展，高吞吐量，容错流处理。
weixin_39630247·2025-04-24 18:19

KafkaSpark Streaming整合原理与代码实例讲解

Kafka-SparkStreaming整合原理与代码实例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：Kafka,SparkStreaming
AI天才研究院·2025-04-24 18:48

Spark-Streaming核心编程

以下是今天所学的知识点与代码测试：Spark-StreamingDStream实操案例一：WordCount案例需求：使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数实验步骤
[太阳]88·2025-04-23 20:27

KafkaSpark Streaming整合原理与代码实例讲解

Kafka-SparkStreaming整合原理与代码实例讲解1.背景介绍1.1实时数据处理的重要性在当今大数据时代,海量数据以前所未有的速度持续产生。
AGI大模型与大数据研究院·2025-04-16 08:14

Spark详解（二、SparkCore）

SparkCore是Spark计算引擎的基础，后面的sparksql以及sparkstreaming等，都是基于SparkCore的。这里笔者就开始详细的介绍SparkCore。
杨老七·2025-04-13 05:38

Spark

以Sparkcore为核心，提供了SparkSQL、SparkStreaming、MLlib几大功能组件中文文档：https://spark.apachecn.org/#/github地址：https:
upupfeng·2025-04-08 11:14

Spark Streaming 监控UI详解

TableofContentsSpark基本概念Spark监控的三个阶段SparkDriver阶段SparkExecutor阶段SparkStreaming阶段Spark基本概念Jobjob是application
走向自由·2025-04-04 10:11

AI大型语言模型企业级应用开发架构实战：实时数据流处理与推理

本文主要阐述通过使用Kafka作为数据队列中间件，SparkStreaming作为实时数据流处理引擎，以及F
AI天才研究院·2025-04-03 06:08

【自学笔记】Spark基础知识点总览-持续更新

文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录ApacheSpark基础知识点总览目录简介核心组件SparkSQLDataFrame与DatasetAPIRDD（弹性分布式数据集）SparkStreamingMLlib
Long_poem·2025-03-29 01:37

Apache大数据旭哥优选大数据选题

这样才能避免不必要的麻烦python、flask、Django、mapreduce、mysqljava、springboot、vue、echarts、hadoop、spark、hive、hbase、flink、SparkStreaming
Apache大数据旭·2025-03-23 13:12

Spark数据倾斜的问题

Spark数据倾斜业务背景Spark数据倾斜表现Spark的数据倾斜，包括SparkStreaming和SparkSQL，表现主要有下面几种：1、Excutorlost，OOM，Shuffle过程出错2
冰火同学·2025-03-11 20:58

37.索引生命周期管理—kibana 索引配置

37.1背景引入索引生命周期管理的一个最重要的目的就是对大量时序数据在es读写操作的性能优化如通过sparkstreaming读取Kafka中的日志实时写入es，这些日志高峰期每天10亿+，每分钟接近100w
大勇任卷舒·2025-03-04 23:42

大数据面试临阵磨枪不知看什么？看这份心理就有底了-大数据常用技术栈常见面试100道题

6SparkStreaming的工作原理是什么？7如何优化Spark作业的性能？8描述HBase的架构和它的主要组件。9HBase的读写流程是怎样的？10HBase如何处理
大模型大数据攻城狮·2025-03-04 21:59

如何使用Spark Streaming将数据写入HBase

在SparkStreaming中将数据写入HBase涉及到几个步骤。以下是一个基本的指南，帮助你理解如何使用SparkStreaming将数据写入HBase。
Java资深爱好者·2025-03-01 05:02

Spark Streaming 容错机制详解

SparkStreaming是Spark生态系统中用于处理实时数据流的模块。它通过微批处理（micro-batch）的方式将实时流数据进行分片处理，每个批次的计算本质上是Spark的批处理作业。
goTsHgo·2025-02-26 04:20

什么容错性以及Spark Streaming如何保证容错性

二、SparkStreaming保证容错性的方法SparkStreaming为了保证数据的准确性和系统的可靠性，实现了多种容错机制，主要包括以下几个方面：元数据的容错性：Spar
python资深爱好者·2025-02-26 04:48

spark streaming基础操作

sparkstreaming基础操作一、什么是sparkstreamingSparkStreaming用于流式数据的处理。
天选之子123·2025-02-14 09:33

案例1.spark和flink分别实现作业配置动态更新案例

sparkbroadcast广播变量a.思路b.案例①需求②数据③代码2.方法2：flinkRichSourceFunctiona.思路b.案例①需求②数据③代码④测试验证测试1测试2测试3一、背景在实时作业（如SparkStreaming
wguangliang·2025-02-07 19:44

如何使用Spark Streaming

一、什么叫SparkStreaming基于SparkCore，大规模、高吞吐量、容错的实时数据流的处理二、SparkStreaming依赖org.apache.sparkspark-streaming_
会探索的小学生·2025-02-02 00:46

Spark 任务与 Spark Streaming 任务的差异详解

Spark任务与SparkStreaming任务的主要差异源自于两者的应用场景不同：Spark主要处理静态的大数据集，而SparkStreaming处理的是实时流数据。
goTsHgo·2025-02-02 00:14

4 Spark Streaming

4SparkStreaming一级目录1.整体流程2.数据抽象3.DStream相关操作4.SparkStreaming完成实时需求1)WordCount2)updateStateByKey3)reduceByKeyAndWindow
TTXS123456789ABC·2025-02-01 23:43

spark streaming python_Spark入门：Spark Streaming简介(Python版)

SparkStreaming是构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。
weixin_39531582·2025-02-01 23:12

【spark床头书系列】Spark Streaming 编程权威使用指南

SparkStreaming编程权威使用指南文章目录SparkStreaming编程权威使用指南概述快速示例基本概念链接初始化StreamingContext离散化流（DStreams）输入DStreams
BigDataMLApplication·2025-01-30 14:14

Spark Streaming的背压机制的原理与实现代码及分析

SparkStreaming的背压机制是一种根据JobScheduler反馈的作业执行信息来动态调整Receiver数据接收率的机制。
weixin_30777913·2025-01-30 14:07

《Spark大数据分析与内存计算》——第三章

(单选题)什么负责即席查询的应用A.MLlibB.SparkStreamingC.GraphXD.Spar
阿万古·2025-01-26 05:07

Spark 组件 GraphX、Streaming

Spark组件GraphX、Streaming一、SparkGraphX1.1GraphX的主要概念1.2GraphX的核心操作1.3示例代码1.4GraphX的应用场景二、SparkStreaming2.1SparkStreaming
叶域·2024-09-15 14:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他