DStream

Spark Streaming原理与架构

计算流程:将流试计算分解成一系列短小的批处理作业,批处理引擎是SparkCore按照输入数据的batchsize（如1秒）,将数据分解成一段一段转换成RDDSparkStreaming中对DStream
刘啊福·2021-01-20 17:04

sparkStreaming之transform的细节

String]=streamingContext.socketTextStream('linux1',8888)//TODODriver中执行一次//例如vala=1在Driver中只执行一次//首先看一下DStream
幡然醒悟的研二狗-致敬所有受压迫的博士·2020-12-30 18:58

Spark Streaming架构原理详解！

目录一、SparkStreaming功能介绍（1）概述（2）DStream概述（3）Storm和SparkStreaming比较二、SparkStreaming服务架构及工作原理三、StreamingContext
<一蓑烟雨任平生>·2020-09-30 11:57

DStream操作实战:4.SparkStreaming开窗函数统计一定时间内的热门词汇

packagecn.testdemo.dstream.socketimportorg.apache.spark.
NicholasEcho·2020-09-17 06:50

Spark Streaming 快速入门（实操）

教程目录0x00教程内容0x01SparkStreaming编程1.启动SparkShell2.创建StreamingContext对象3.创建DStream对象4.对DStream进行操作5.输出数据
邵奈一·2020-09-17 05:33

Spark Streaming 快速入门（理论）

教程目录0x00教程内容0x01SparkStreaming相关概念1.SparkStreaming介绍2.DStream介绍0x02SparkStreaming编程基础1.StreamingContext
邵奈一·2020-09-17 05:32

6.Spark streaming技术内幕 : Job动态生成原理与源码解析

原创文章，转载请注明:转载自周岳飞博客(http://zhou-yuefei.iteye.com/)Sparkstreaming程序的运行过程是将DStream的操作转化成RDD的操作，SparkStreaming
听风的蜗牛·2020-09-16 17:00

spark streaming 错误集锦

问题1：Nooutputstreamsregistered,sonothingtoexecute解决原因：没有触发DStream需要的aciton解决方法：使用以下方法之一触发：print()foreachRDD
奔奔强·2020-09-16 17:40

Flink

第一代：MapReduce2006年批磁盘M->R矢量|2014.9Storm诞生流延迟低/吞吐小第二代：SparkRDD2014.2批内存DAG（若干Stage）|使用micro-batch模拟流处理DStream
HuiGe94v587·2020-09-16 12:23

SparkStreaming实现实时WordCount程序的两种方法并将数据写入Mysql中：使用工具netcat

首先需要了解的几个类StreamingContext如何读取数据DStream处理数据函数DStream里面存储着很多RDDPairDStreamFunctions当处理的数据类型是二元组的时候，DStream
无名一小卒·2020-09-16 09:32

dstream.foreachRDD 创建连接对象 反序列化失败 解决办法

开发一个采集程序，从客户端发送数据到服务端，服务端传给kafka集群上启动sparkStreaming接受kafka数据存入HBase遇到一个小坑程序报无法序列化Htable就是因为dstream.foreachRDD
ququ554665630·2020-09-16 03:21

SparkStreaming如何解决小文件问题

那么假设，一个batch为10s，每个输出的DStream有32个partition，那么1h产生的文件数将会达到(3600/10)*32=11520个之多。
xuehuagongzi000·2020-09-15 15:33

mapreduce 常用的map/reduce的key分隔符,自定义partition设置，

-Dstream.map.output.field.separator：设置map输出中key和value的分隔符-Dstream.num.map.output.key.fields：设置map程序分隔符的位置
yang63515074·2020-09-15 09:15

spark从入门到放弃五十三:Spark Streaming(13)缓存于持久化

对DStream调用persist()方法，就可以让sparkStreaming自动将该数据流中的所有产生的RDD都持久化到内存中。
CXHC·2020-09-15 03:40

spark几个重要的概念区分

1、RDD和DStream的区别RDD：弹性数据集，其中包含了多个partition，每个子集partition可以分布在不同节点上，在进行处理时分别在不同机器上进行处理；DStream：对数据流按时间切分出来的一小批次
iRich_全栈·2020-09-14 02:57

spark streaming源码分析4 DStream相关API

博客地址:http://blog.csdn.net/yueqian_zhu/一、InputDStream创建的操作（StreamingContext.scala）1、给定Receiver作为参数，创建ReceiverInputDStream,T为receiver接收到的数据类型defreceiverStream[T:ClassTag](receiver:Receiver[T]):ReceiverI
yueqian_zhu·2020-09-11 23:08

SparkStreaming读取kafka数据的两种方式（receive与direct）对比

引言大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream
billows9297·2020-09-11 23:17

【Spark】--SparkStreaming2

4、Dstream转换DStream上的原语与RDD的类似，分为Transformations（转换）和OutputOperations（输出）两种，此外转换操作中还有一些比较特殊的原语，如：updateStateByKey
fu-jw·2020-09-11 23:00

第 5 章 DStream转换

上篇：第3章大数据kafka采集数据（Dstream创建）DStream转换DStream上的原语与RDD的类似，分为Transformations（转换）和OutputOperations（输出）两种
江湖侠客·2020-09-11 23:15

Spark修炼之道（进阶篇）——Spark入门到精通：第十一节 Spark Streaming—— DStream Transformation操作...

streaming-programming-guide.htmlDStreamTransformation操作1.Transformation操作TransformationMeaningmap(func)对DStream
weixin_34378922·2020-09-11 23:32

Spark Streaming中的操作函数分析

根据Spark官方文档中的描述，在SparkStreaming应用中，一个DStream对象可以调用多种操作，主要分为以下几类TransformationsWindowOperationsJoinOperationsOutputOperations
weixin_30853329·2020-09-11 22:25

SparkStreaming（15）：DStream转换为RDD的Transform算子

一、实现功能DStream中还是缺少某些API的，比如sortByKey之类的。
RayBreslin·2020-09-11 22:40

####好#####DStreams上的输出操作

DStreams上的输出操作输出操作允许DStream的操作推到如数据库、文件系统等外部系统中。因为输出操作实际上是允许外部系统消费转换后的数据，它们触发的实际操作是DStream转换。
mishidemudong·2020-09-11 22:32

sparkStreaming整合flume 推模式Push

packagecom.spark.streamingimportjava.net.InetSocketAddressimportorg.apache.spark.storage.StorageLevelimportorg.apache.spark.streaming.dstream
star5610·2020-09-11 22:38

Spark无状态和有状态转化操作介绍

1.无状态转化操作无状态转化操作就是把简单的RDD转化操作应用到每个批次上，也就是转化DStream中的每一个RDD。部分无状态转化操作列在了下表中。
zhaogw_·2020-09-11 22:50

[spark streaming]窗口操作

如图所示，每个时间窗口在一个个DStream中划过，每个DSteam中的RDD进入Window中进行合并，操作时生成为窗口化DSteam的RDD。
风一样的男人_·2020-09-11 22:18

SparkStreaming之窗口函数

如图所示，每个时间窗口在一个个DStream中划过，每个DSteam中的RDD进入Window中进行合并，操作时生成为窗口化DSteam的RDD。
qq_32440951·2020-09-11 22:39

DStream中transform的理解误区与应用

文章目录简介理解上的误区transformvsTransformationtransform中有RDD的action操作transform在每个batch批次间隔间被调用实际应用简介DStream中的transform
涛声依旧（竞涛）·2020-09-11 22:29

SparkStreaming之DStream operations

DStreams支持各种转换，他们是基于Spark的RDD的，一些常规的转换如下：但是和和RDD有点区别，那就是DStream是内部含有多个RDD，它是用HashMap接受流进来的RDDprivate[
legotime·2020-09-11 22:21

Spark Streaming：DStream的transformationy及output操作

updateStateByKeyupdateStateByKey操作允许您在使用新的信息持续更新时保持任意状态publicclassUpdateStateByKeyWordCount{publicstaticvoidmain(String[]args)throwsInterruptedException{SparkConfconf=newSparkConf().setMaster("local[*
焦焦^_^·2020-09-11 21:03

Spark定制班第27课：Spark Streaming的为什么在DStream的Action操作之外也可能产生Job操作

本期内容：1.SparkStreaming产生Job的机制2.SparkStreaming的其它产生Job的方式1.SparkStreaming产生Job的机制Scala程序中，函数可以作为参数传递，因为函数也是对象。有函数对象不意味着函数马上就运行。SparkStreaming中，常利用线程的run来调用函数，从而导致函数的最终运行。SparkStreaming中，Job对象包含函数成员。Net
andyshar·2020-09-11 21:08

SparkStreaming_DStream转换

DStream上的原语与RDD的类似，分为Transformations（转换）和OutputOperations（输出）两种，此外转换操作中还有一些比较特殊的原语，如：updateStateByKey
不稳定记忆·2020-09-11 21:11

Spark Streaming-DStreams的转换操作

跟RDD一样，DStream也有自己的转换操作，并且DStreams支持很多在RDD中可用的转换操作。
Anbang713·2020-09-11 21:03

####好#####DStream中的转换（transformation）

DStream中的转换（transformation）和RDD类似，transformation允许从输入DStream来的数据被修改。
mishidemudong·2020-09-11 21:39

Spark Streaming——DStream Transformation操作

对应的批数据，在spark内核对应一个RDD实例，因此，对应流数据的DStream可以看成是
yanzhelee·2020-09-11 21:39

Spark-Streaming中DStream得转换|无状态转换操作(transform、join)|有状态转换操作(updateStateByKey、WindowOperations)

DStream转换DStream上的操作与RDD的类似，分为Transformations（转换）和OutputOperations（输出）两种，此外转换操作中还有一些比较特殊的原语，如：updateStateByKey
SmallScorpion·2020-09-11 21:21

Spark Streaming之：三、DStream转换

SparkStreaming之：三、DStream转换文章目录SparkStreaming之：三、DStream转换1.DStream转换2.DStream转换操作状态—>Spark知识点总结导航{valcurrentCount
落落free·2020-09-11 21:21

Spark学习笔记：DStream的transformation操作概览

DStream的transformation操作概览一.SparkStreaming开发步骤创建输入DStream，如将Flume、Kafka、HDFS和Socket等作为数据源对输入DStream进行转换操作对转换后的
SetsunaMeow·2020-09-11 21:03

DStream之转换操作（Transformation）

与RDDs类似，转换允许修改输入DStream中的数据。DStreams支持许多在普通SparkRDD上可用的转换算子。
天ヾ道℡酬勤·2020-09-11 21:28

Flink学习笔记

第一代：MapReduce2006年批磁盘M->R矢量|2014.9Storm诞生流延迟低/吞吐小第二代：SparkRDD2014.2批内存DAG（若干Stage）|使用micro-batch模拟流处理DStream
骚白~·2020-09-11 03:39

Spark Streaming-缓存与持久化

对DStream调用persist()方法，就可以让SparkStreaming自动将该数据流中的所有产生的RDD，都持久化到内存中。
Anbang713·2020-08-26 09:51

SparkStreaming总结下

Receiver方式比较consumer传统的消息者（老的方式）需要连接ZK，新的方式（高效的方式）不需要连接ZK，但是要自己维护偏移量consumergroup一个消费者组下可以有多个消费者，不重复消息DStream
xiaoqiang17·2020-08-24 18:19

Spark Streaming和Kafka 参数调优

www.jianshu.com/p/5c20e5bc402c再谈SparkStreamingKafka反压batchDuration：每隔batchDuration秒，切分成一个数据块(RDD)上图中数据流也可以抽象为DStream
海涛高软·2020-08-24 15:46

sparkstreaming 源码 我们从 start() 开始说起

启动了调度，调用了JobScheduler.start()defstart():Unit=synchronized{statematch{caseINITIALIZED=>startSite.set(DStream.getCreationSite
hankl1990·2020-08-24 06:15

85、Spark Streaming之输入DStream和Receiver详解

输入DStream和Receiver详解输入DStream代表了来自数据源的输入数据流。
ZFH__ZJ·2020-08-23 05:46

spark streaming updateStateByKey 使用方法

updateStateByKey解释:以DStream中的数据进行按key做reduce操作，然后对各个批次的数据进行累加在有新的数据信息进入或更新时。能够让用户保持想要的不论什么状。
汝知否·2020-08-23 04:59

spark-streaming 编程(五)updateStateByKey

updateStateByKey（func）从名字上来看，该函数会更新根据key聚合，并不断更新value值要想使用该函数，Dstream之前的类型必须是K，V形式的二元组。
刘光华_zhou·2020-08-23 04:10

spark streaming DStream算子大全

DStream作为spark流处理的数据抽象，有三个主要的特征:1.依赖的DStream的列表2.DStream生成RDD的时间间隔3.用来生成RDD的方法本篇pom.xml文件sparkstreaming
hadoop程序猿·2020-08-23 04:06

Spark Streaming状态操作: updateStateByKey、mapWithState、基于window的状态操作

在SparkStreaming中，DStream的转换分为有状态和无状态两种。
wangpei1949·2020-08-23 03:33

根本:详解receiver based Dstream

使用注意事项1.receiver会像正常task一样，由driver调度到executor，并占用一个cpu，与正常task不同，receiver是常驻线程2.receiver个数KafkaUtils.createStream调用次数决定，调用一次产生一个receiver3.altopicMap=Map("page_visits"->1)map的value对应的数值实际上是消费的线程个数。前情：基
大数据星球-浪尖·2020-08-23 02:43
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他