DStream

Spark系列 - 实时数仓之top3热门广告实战（二）

  在之前的文章中我们使用Flink也实现过topn的案例；这里，为了温习Spark如何访问kafka以及DStream的操作，我们实现一个需求：需求：每天每地区热门广告top3一、数据源[root@cdh101kafka
小飞牛_666·2023-04-16 19:43

SparkStreaming WordCount入门案例

packagecom.lqs.sparkstreamingimportorg.apache.spark.SparkConfimportorg.apache.spark.streaming.dstream
小雏菊的成长·2023-04-15 00:29

SparkStreaming

目录SparkStreaming概述SparkStreaming是什么SparkStreaming特点SparkStreaming架构DstreamDstream入门DStream创建DStream转换无状态转化操作有状态转化操作自定义数据源
阿德小仔·2023-04-15 00:28

SparkStreaming入门+WordCount案例

1.SparkStreaming概述1.1离线和实时的概念1.2批量和流式的概念1.3SparkStreaming是什么1.4SparkStreaming特点1.5SparkStreaming架构2.DStream
布莱恩特888·2023-04-15 00:28

1.Spark Streaming基础—Spark Streaming架构图、背压机制、WordCount 案例实操、WordCount 解析

本文目录如下：第1章SparkStreaming概述1.1SparkStreaming是什么1.2SparkStreaming架构1.2.1架构图1.2.2背压机制第2章Dstream入门2.1WordCount
页川叶川·2023-04-15 00:50

第七课 大数据技术之Spark-SparkStreaming

文章目录第七课大数据技术之Spark-SparkStreaming第一节SparkStreaming概述1.1SparkStreaming介绍1.2SparkStreaming架构1.3WordCount案例实操第二节DStream
道教儒佛电磁波·2023-04-15 00:49

sparkStreaming:实时流数据详解

目录一、概述二、wordCount示例三、初始化StreamingContext四、DStreams(离散数据流)五、输入DStream和接收器BasicsourcesFileStreamsCustomReceivers
小五家的二哈·2023-04-09 12:11

201.Spark（八）：SparkStreaming基本概念，DStream创建，转换，输出，关闭

目录一、SparkStreaming基本概念1.数据处理2.SparkStreaming基础概念3.SparkStreaming架构4.背压机制
鹏哥哥啊Aaaa·2023-04-09 12:10

Spark：Streaming

目录01：上篇回顾02：今日目标03：SparkStreaming基本原理04：DStream的设计05：DStream的函数06：无状态计算模式场景07：有状态计算模式场景08：滑动窗口计算模式场景09
多么哇塞的陈哇塞·2023-04-09 12:35

Spark大数据分与实践笔记（第七章 Spark Streaming实时计算框架-02）

第七章SparkStreaming实时计算框架7.3.6DStream实例——实现网站热词排序接下来,以实现网站热词排序为例外分析出用户对网站哪些词感兴趣或者不感兴趣，以此来增加用户感兴趣词的内容，减少不感兴趣词的内容
妉妉师姐·2023-04-09 12:59

86、Spark Streaming之输入DStream之基础数据源以及基于HDFS的实时wordcount程序

输入DStream之基础数据源Socket之前的wordcount例子，已经演示过了，StreamingContext.socketTextStream()HDFS文件基于HDFS文件的实时计算，其实就是
ZFH__ZJ·2023-04-05 04:22

87、Spark Streaming之输入DStream之Kafka数据源实战（基于Receiver的方式）

基于Receiver的方式这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次ConsumerAPI来实现的。receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的，然后SparkStreaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因为底层的失败而丢失数据。如果要启用高可靠机制，让数据零丢失，就必须启用Sp
ZFH__ZJ·2023-04-05 01:46

大数据最佳实践-sparkstreaming

目录概述架构案例Dstream创建3.1文件数据源3.2RDD队列自定义数据源Kafka数据源ReceiverDirectDStream转换有状态转化操作4.2.2WindowOperationsreducelast30secondsofdata
猿与禅·2023-04-02 22:31

Spark Streaming DStream的操作

一、DStream的定义DStream是离散流，SparkStreaming提供的一种高级抽象，代表了一个持续不断的数据流。
晓之以理的喵~~·2023-03-30 06:03

Spark从入门到精通40:Spark Streaming：输入DStream之Kafka数据源实战（基于Receiver的方式）

1.基于Receiver的方式这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次ConsumerAPI来实现的。receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的，然后SparkStreaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因为底层的失败而丢失数据。如果要启用高可靠机制，让数据零丢失，就必须启用
勇于自信·2023-03-27 16:03

有状态算子、滑动窗口和滚动窗口

packagecom.shujia.streamimportorg.apache.spark.streaming.dstream.
赤兔胭脂小吕布·2023-03-19 11:17

（1）sparkstreaming结合sparksql读取socket实时数据流

SparkStreaming是构建在SparkCore的RDD基础之上的，与此同时SparkStreaming引入了一个新的概念：DStream（DiscretizedStream，离散化数据流)，表示连续不断的数据流
NBI大数据可视化分析·2023-03-18 15:01

Spark streaming

sparkstreaming是抽象了离散的数据流Dstream，包括一组连续的RDD，对Dstream的操作最终会映射到内部的RDD上，构建成Dstream链，提交为Job执行sparkstreaming
小小少年Boy·2023-03-13 05:09

Spark从入门到精通39:Spark Streaming：输入DStream之基础数据源以及基于HDFS的实时wordcount程序

1.输入DStream之基础数据源1、Socket：之前的wordcount例子，已经演示过了，StreamingContext.socketTextStream()2、HDFS文件基于HDFS文件的实时计算
勇于自信·2023-03-09 19:02

Spark之Spark Streaming原理

SparkStreaming使用离散化流作为抽象表示，叫做DStream。DStre
没才艺的华哥·2023-02-06 13:45

【sparkstreaming整理】

文章目录sparkstreaming0.什么是sparkstreaming1.什么是流式处理：2.sparkstreaming处理数据的方式:3.构建Dstream的两种方式：4.sparkstreaming
走多远才算远·2023-01-30 15:53

Spark Streaming整合Kafka

{ConsumerConfig,ConsumerRecord}importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.dstream.InputDStreamimportorg.apache.spark.str
白修修·2023-01-30 10:01

Flink 详解与分析一

通常被人们称为第三代大数据分析方案第一代大数据处理方案：基于Hadoop的MapReduce静态批处理|Storm实时流计算，两套独立的计算引擎，难度大（2014年9月）第二代大数据处理方案：SparkRDD静态批处理、SparkStreaming(DStream
迈希杰·2023-01-27 11:25

【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解（图文解释 超详细）

流数据和流计算在大数据时代，数据可以分为静态数据和流数据，静态数据是指在很长一段时间内不会变化，一般不随运行而变化的数据。流数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下数据流可被视为一个随时间延续而无限增长的动态数据集合。应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域但是，在大数据时代，不仅数据格式复杂、来源众多，而且数据量巨大，这就对实时计算提出了很大的挑战。因此，
showswoller·2022-12-20 08:45

Spark-SaprkStreaming(概述、架构、原理、DStream转换、案例)

文章目录SparkStreaming概述特点架构原理DStream和RDD的区别DAG如何读取数据(※)WordCount案例实操代码解析RDD队列用法及说明案例实操自定义数据源Kafka数据源DStream
迷雾总会解·2022-12-18 19:44

Flink

通常被人们称为第三代大数据分析方案第一代大数据处理方案：基于Hadoop的MapReduce静态批处理|Storm实时流计算，两套独立的计算引擎，难度大（2014年9月）第二代大数据处理方案：SparkRDD静态批处理、SparkStreaming（DStream
塞纳河畔的王子·2022-12-18 16:31

Apache Flink 1.14.0

flink也是内存计算，比较类似spark，但是不一样的是，spark的计算模型基于RDD，将流式计算看成是特殊的批处理，他的DStream其实还是RDD。
dzzxjl·2022-12-18 16:30

Spark Streaming特点

SparkStreaming特点1、易用2、容错3、易整合到Spark体系4、SparkStreaming与Storm的对比SparkStreamingStorm开发语言：Scala开发语言：Clojure编程模型：DStream
专注于大数据技术栈·2022-12-15 11:51

SparkStream

SparkStreaming的核心思路：把无边界的数据流抽象成DStream，在时间方向上，按照某个指定的时间间隔，把DStream切割成一个离散的RDD的序列，然后每一个都交给spark执行引擎进行处理
docsz·2022-12-07 11:39

大数据编程实验四：SparkStreaming编程

SparkStreaming编程文章目录大数据编程实验四：SparkStreaming编程一、实验目的与要求二、实验内容三、实验步骤1、利用SparkStreaming对不同类型数据源的数据进行处理2、完成DStream
-北天-·2022-12-07 07:45

[Spark、hadoop]spark Streaming的核心DStream

目录SparkStreaming的核心是DStream一、DStream简介二．DStream编程模型三．DStream转换操作SparkStreaming的核心是DStream一、DStream简介1
发量不足·2022-10-18 07:30

[Spark、hadoop]DStream的窗口操作、输出操作、实例——实现网站热词排序

目录DStream窗口操作DStream输出操作DStream实例——实现网站热词排序DStream的概述Dstream(DiscretizedStream)是SparkStreaming数据的基本传输单位
发量不足·2022-10-18 07:30

（1）sparkstreaming结合sparksql读取socket实时数据流

SparkStreaming是构建在SparkCore的RDD基础之上的，与此同时SparkStreaming引入了一个新的概念：DStream（DiscretizedStream，离散化数据流)，表示连续不断的数据流
·2022-08-31 13:46

Spark Streaming基础概述

文章目录第一章SparkStreaming引入SparkStreaming介绍实时计算所处的位置第二章SparkStreaming原理SparkStreaming原理整体流程数据抽象DStream相关操作
九月木樨·2022-08-24 15:38

DStream实例——实现网站热词排序

1、进入数据库：mysql-uroot-pPassword123$创建数据库名字为spark：createdatabasespark创建数据表sww：createtablesww(insert_timedate,keywordvarchar(30),search_countinteger)2、在pom.xml文件添加mysql数据库的依赖，添加的内容如下：mysqlmysql-connector-
鄙人阿彬·2022-06-26 07:08

DStream窗口操作

在SparkStreaming中，为DStream提供窗口操作，即在DStream流上，将一个可配置的长度设置为窗口，以一个可配置的速率向前移动窗口。
鄙人阿彬·2022-06-26 07:08

Scala_Spark-电商平台离线分析项目-需求七广告黑名单实时统计

Scala_Spark-电商平台离线分析项目-需求七广告黑名单实时统计第四模块：广告流量实时统计统计技术点：SparkStreaming、kafka集群补充知识点：DStream中：foreachRDD
大数据小阿姨·2022-04-24 15:47

DStream 以及基本工作原理

DStreamSparkStreaming提供了一种高级的抽象，叫做DStream，
·2022-02-22 12:10

Spark综合学习笔记（十八）SparkSQL数据抽象

p=53引言SparkCore的数据抽象:RDDSparkStreaming的数据抽象:DStream,底层是RDDSparkSQL的数据抽象:DataFrame和DataSet,底层是RDDDataFrame
斯特凡今天也很帅·2021-11-25 12:10

Spark从入门到精通41:Spark Streaming：输入DStream之Kafka数据源实战（基于Direct的方式）

这种新的不基于Receiver的直接方式，是在Spark1.3中引入的，从而能够确保更加健壮的机制。替代掉使用Receiver来接收数据后，这种方式会周期性地查询Kafka，来获得每个topic+partition的最新的offset，从而定义每个batch的offset的范围。当处理数据的job启动时，就会使用Kafka的简单consumerapi来获取Kafka指定offset范围的数据。和R
勇于自信·2021-06-29 09:56

Spark Streaming执行原理

SparkStreaming划分为四个大的模块：模块1：DAG静态定义模块2：Job动态生成模块3：数据产生与导入模块4：长时容错模块1：DAG静态定义2.2模块2：Job动态生成现在有了DStreamGraph和DStream
jason__huang·2021-06-26 22:18

Spark GraphX图计算框架原理概述

如同Spark的每一个模块一样，它们都有一个基于RDD的便于自己计算的抽象数据结构（如SQL的DataFrame，Streaming的DStream）。
木亦汐·2021-06-25 19:52

揭开Spark Streaming神秘面纱① - DStreamGraph 与 DStream DAG

是一个非常重要的组件，主要用来：通过成员inputStreams持有SparkStreaming输入源及接收数据的方式通过成员outputStreams持有Streamingapp的output操作，并记录DStream
牛肉圆粉不加葱·2021-05-21 10:35

spark stream

Dstream是一个rdd的队列。当sparkstream窗口函数的间隔不是batchDuration的倍数时会报错。
Hystrix_Hu·2021-05-12 05:03

Spark Streaming之MapWithStateDSteam

MapWithStateDStreamMapWithStateDStream为mapWithState算子的结果；defstateSnapshots():DStream[(KeyType,StateType
分裂四人组·2021-05-09 13:35

Spark Streaming 的 Transformations

DStream转换操作包括：无状态转换、有状态转换。无状态转换：每个批次的处理不依赖于之前批次的数据。有状态转换：当前批次的处理需要使用之前批次的数据或者中间结果。
博弈史密斯·2021-05-01 16:14

Spark Streaming整合Kafka

在spark1.3版本后，kafkaUtils里面提供了两个创建dstream的
董二弯·2021-04-28 01:22

spark从入门到放弃五十三:Spark Streaming(13)缓存于持久化

对DStream调用persist()方法，就可以让sparkStreaming自动将该数据流中的所有产生的RDD都持久化到内存中。
意浅离殇·2021-03-10 15:03

SparkStreaming入门教程(四)有状态和无状态的转化操作

Dstream的转化操作分为无状态的(stateless)和有状态的(stateful)无状态转化：每个批次处理都不依赖于先前批次的数据，如map()filter()reduceByKey()等均属于无状态的有状态转化
胖滚猪学编程·2021-03-10 10:53

关于SparkStreaming的DStream原理以及代码详解

内部实现上,DStream是一系列连续的RDD来表示。
刘啊福·2021-01-20 19:19
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他