DStream 第8页

葵花宝典--SparkStreaming

使用了一个高级抽象-离散化流DStream，将每个时间段的数据封装为一个RDD，这些RDD的序列构成了D

张薄薄·2020-06-25 07:17

使用SparkStreaming完成词频统计,并将结果写入MySQL,黑名单过滤

foreachRDD设计模式的使用dstream.foreachRDD是一个强大的原语,允许将数据发送到外部系统.但是,了解如何正确有效地使用这个原语很重要.避免一些常见的错误如下.通常向外部系统写入数据需要创建连接对象

码动乾坤·2020-06-24 08:21

Spark源码解析：DStream

0x00前言本篇是Spark源码解析的第二篇，主要通过源码分析SparkStreaming设计中最重要的一个概念——DStream。

木东居士·2020-06-24 06:56

Spark介绍（三）SparkStreaming

SparkStreaming处理的数据流图SparkStreaming构架二、DStream简

kxiaozhuk·2020-06-24 01:58

spark的kafka的低阶API createDirectStream

大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream方法

盛装吾步·2020-06-24 00:24

SparkStream：4)foreachRDD详解

了解下面的知识可以帮助我们避免很多误区误区1：实例化外部连接对象的位置不正确，比如下面代码dstream.foreachRDD{rdd=>valconnection=createNewConnection

PJ-Javis·2020-06-23 21:08

java8实现spark streaming的wordcount

主体代码部分跟spark相差不大，毕竟DStream是RDD产生的模板（或者说类）。

_delin·2020-06-23 20:55

Spark Streaming checkpoint 实现状态的恢复实现

对状态(state)的DStream操作(updateStateByKey)，操作会跨多个batchduration，后面数据对前面的有依赖，随着时间的推移，依赖链条会越

iris_new·2020-06-23 18:57

94、Spark Streaming之与Spark SQL结合使用之top3热门商品实时统计案例实战

与SparkSQL结合使用SparkStreaming最强大的地方在于，可以与SparkCore、SparkSQL整合使用，之前已经通过transform、foreachRDD等算子看到，如何将DStream

ZFH__ZJ·2020-06-23 14:18

（六）Spark——Spark Streaming

目录一、SparkStreaming概述1.SparkStreaming是什么2.SparkStreaming特点3.SparkStreaming架构3.1背压机制二、DStream入门1.WordCount

fseast·2020-06-23 09:27

99、Spark Streaming之架构原理深度剖析

pngStreamingContext初始化时，会创建一些内部的关键组件，DStreamGraph，ReceiverTracker，JobGenerator，JobSchedulerDStreamGraph，我们程序中定义很多DStream

ZFH__ZJ·2020-06-22 09:32

Spark Streaming与外部存储介质

一、将DStream输出到文件中SparkStreaming提供了多个上层接口，用于将DStream书出到外部文件，包括saveAsObjectFiles、saveAsTextFiles、saveAsHadoopFiles

H_w·2020-06-22 08:30

Samza框架-----学习笔记

分区：Samza的流数据单位既不是Storm中的元组，也不是SparkStreaming中的DStream，而是一条条消息；Samza中的每个流都被分割成一个或多个分区，对于流里的每一个分区而言，都是一个有序的消息序列

PeixinYe·2020-06-22 03:26

这几天折腾spark的kafka的低阶API createDirectStream的一些总结。

大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream方法

xiao_jun_0820·2020-06-21 14:07

spark streaming foreachRDD

foreachRDD(func)访问DStream中的每个RDD。foreachRDD方法不返回任何值。

github_元宝·2020-06-20 15:22

Spark Streaming的核心DStream之转换操作实例

DStream的转化操作DStreamAPI提供的与转化操作相关的方法如下：如下举例详解transform(func)方法和updateStateByKey(func)方法：（1）、transform(

wx5da03a3bd2999·2020-05-23 17:36

spark系列-9、Spark Streaming调优

因为Sparkstreaming的DStream其实就是一组RDD的集合，所以对于Spark的一些调优同样适用于SparkStreaming，可以参考：https://www.cnblog

abc十号·2020-05-05 21:00

Spark从入门到精通33:Spark Streaming：大数据实时计算介绍

只不过，针对实时计算的特点，在RDD之上，进行了一层封装，叫做DStream。其实，学过了SparkSQL之后，你理解这种封装就容易了。

勇于自信·2020-04-14 22:33

spark streaming应用一个越跑越慢的bug

于是，我在driver上保持了一个resultRDD，在DStream内不断地去更新这个resultRDD，包括

AlbertCheng·2020-04-12 00:56

spark从入门到放弃五十二:Spark Streaming(12)结合spark Sql

details/2536271.简介SparkStreaming强大的地方在于，可以于sparkcore和sparksql整合使用，之前已经通过transformforeachRDD等算子看到了如何将DStream

意浅离殇·2020-04-10 13:34

spark基础学习（二）

本章节主要从SparkStreaming的原理及其核心DStream两个大方面来介绍SparkStreaming的运行机制。其中实例代码使用的编程语言是Scala语言。二、原理与架构1、流式计

Pt_Chen·2020-04-06 15:43

深入Streaming中的数据抽象DStream

DStream对DStream实施map,filter等操作操作，会转换成另外一个DStream，也就是说DStream也有依赖关系DStream是一组连续的RDD序列，实际上就是在时间维度上对RDD集合的封装

llllqb·2020-04-03 04:57

2. 通过案例对透彻理解三板斧之二：解密SparkStreaming运行机制和架构进阶之运行机制和架构

DStreamGraph是RDDDAG的模板，DStream是逻辑级别的，而RDD是物理级别的。DStream

milkfan·2020-03-31 19:11

Spark Streaming架构及工作原理

4、如何进行DStream操作？

贝拉美·2020-03-31 14:16

Receiver的分发

SparkStreaming的数据源对于SparkStreaming中处理的数据无论是通过内部接口获取，还是通过Kafka、Flume、以及TCPSocket等外部数据源，对于这些数据的处理，这些整个过程的数据均抽象于DStream

土土的简书·2020-03-30 21:37

DStream静态定义和动态调度

DStreamGraphWebBlog2《深入Streaming中的数据抽象DStream》中的TransformationDStream部分提到过：parent.getOrCompute依据DStream

llllqb·2020-03-29 19:17

贯通Spark Streaming JobScheduler内幕实现和深入思考

我们在进行sparkstreaming开发的时候，会对Dstream进行各种transform和action级别的操作，这些操作就构成Dstreamgraph，也就是Dstream之间的依赖关系，随

阳光男孩spark·2020-03-28 00:05

spark streaming源码解读之job动态生成和深度思考

输入的ds有很多来源Kafka、Socket、Flume，输出的DStream其实是逻辑级别的Action，是SparkStreaming框架提出的，其底层翻译成为物理级别的额Action，是RDD的Action

阳光男孩spark·2020-03-27 02:30

spark-streaming中使用spark-sql做关联查询

实现：首先基于topic，创建出kafka的DStream流valsparkConf=newSparkConf().setAppName(appParams.appName)valsc=newSparkContext

lsnl8480·2020-03-24 04:19

Spark Streaming-介绍

和Spark基于RDD的概念很相似，SparkStreaming使用离散化流(discretizedstream)作为抽象表示，叫作DStream。DStream是随时间推移而收到的数据的序列。

raincoffee·2020-03-20 07:16

ARM全新DSTREAM-HT仿真器！带你看懂DSTREAM系列产品差异

DSTREAM-HT是ARM公司开发的一款高速占用引脚少的仿真调试器，更快速更少的引脚：非常适合收集大量追踪数据，其中SoC引脚数排除了并行追踪。

TI小人物·2020-03-17 15:32

Spark Python API Docs(part three)

StreamingContext表示与Spark集群的连接，可用于创建DStream各种输入

盗梦者_56f2·2020-03-17 10:50

『DT_Spark』0084：StreamingContext、DStream、Receiver深度剖析

Spark-andyshar的博客-博客频道-CSDN.NEThttp://blog.csdn.net/andyshar/article/category/5945687/20084：StreamingContext、DStream

葡萄喃喃呓语·2020-03-17 01:31

对DStream.foreachRDD的理解

foreachRDD(func)的官方解释为Themostgenericoutputoperatorthatappliesafunction,func,toeachRDDgeneratedfromthestream.ThisfunctionshouldpushthedataineachRDDtoanexternalsystem,suchassavingtheRDDtofiles,orwriting

Woople·2020-03-14 03:36

13 Spark Streaming源码解读之Driver容错安全性

SparkStreaming中Driver的容错主要是ReceiverTracker、Dstream.graph、JobGenerator的容错第一、看ReceiverTracker的容错，主要是ReceiverTracker

海纳百川_spark·2020-03-10 15:29

2 通过案例对SparkStreaming透彻理解之二

而SparkStreaming是在RDD之上增加了时间维度，DStream就是RDD的模板，随着时间的流逝不断地实例化DStream，以数据进行填充DStream。

海纳百川_spark·2020-03-05 13:14

Spark-Streaming容错机制学习

Driver容错思想：周期性将Dstream的DAG持久化到文件系统中，重新启动Driver时重新加载DAG实现：启动Driver自动重启（ClusterManager支持该功能）standalone:

wpb·2020-03-05 10:57

Apache Flink DataStream 编程全集

第一代-Hadoop的MapReduce计算（静态）、Storm流计算（2014.9）；两套独立计算引擎，使用难度大第二代-SparkRDD静态批处理(2014.2)、DStream|StructuredStreaming

麦田里的守望者··2020-03-04 17:20

如何高效的使用foreachRDD

对于foreachRDD的正确理解，请参考对DStream.foreachRDD的理解在sparkstreaming的官方文档中也有对foreachRDD的说明，请参见DesignPatternsforusingforeachRDD

Woople·2020-02-29 17:29

揭开Spark Streaming神秘面纱⑥ - Spark Streaming结合 Kafka 两种不同的数据接收方式比较

DirectKafkaInputDStream只在driver端接收数据，所以继承了InputDStream，是没有receivers的在结合SparkStreaming及Kafka的实时应用中，我们通常使用以下两个API来获取最初的DStream

牛肉圆粉不加葱·2020-02-28 21:05

Spark Streaming 实时统计商户当日累计PV流量

二、实现步骤1、采用SparkStreaming读取Kafka中的实时日志流，生成DStream2、过滤其中的商户页流量，生成DStream[k,v]（注：k为shopid,v为pv）3、采用SparkStreaming

phycsgy·2020-02-22 22:49

CDH Spark Streaming

DStream可以从Kaf

金刚_30bf·2020-02-13 19:55

Spark Streaming流计算核心概念

在内部，DStream由一系列连续的RDD表示，这是Spark对不可变的分布式数据集的抽象。

云山之巅·2020-02-01 10:00

Spark Streaming