E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Dstream
第96课: 通过Spark Streaming的foreachRDD把处理后的数据写入外部存储系统中
本期内容技术实现解析实现实战SparkStreaming的
DStream
提供了一个
dstream
.foreachRDD方法,该方法是一个功能强大的原始的API,它允许将数据发送到外部系统。
lqding1980
·
2016-05-03 18:54
mysql
spark
Streaming
第96课: 通过Spark Streaming的foreachRDD把处理后的数据写入外部存储系统中
本期内容技术实现解析实现实战SparkStreaming的
DStream
提供了一个
dstream
.foreachRDD方法,该方法是一个功能强大的原始的API,它允许将数据发送到外部系统。
lqding1980
·
2016-05-03 18:54
Mysql
Spark
Streaming
Spark
IMF
课程
spark 版本定制 20160502 通过案例对SparkStreaming透彻理解之二
从DSteamGraph中可以看到,
DStream
的逻辑与RDD基本一致,它就是在RDD的基础上加上了时间的依赖。
柯里昂
·
2016-05-03 05:00
第2课:通过案例对SparkStreaming 透彻理解三板斧之二:解密SparkStreaming
内容:1,解密SparkStreaming运行机制2,解密SparkStreaming架构
DStream
是逻辑级别的,而RDD是物理级别的。
DStream
是随着时间的流动内部将集合封装RDD。
葛晨鑫
·
2016-05-03 00:00
spark
Spark Streaming揭秘 Day2-五大核心特征
特征1:逻辑管理
DStream
是对RDD封装的集合,作用于
DStream
的操作会对其中每个RDD进行作用,DStreamGraph就是RDDGraph的模板,其逻辑管理完全继承RDD的DAG关系。
哎哟慰
·
2016-05-02 22:00
第84课:StreamingContext、
DStream
、Receiver深度剖析
本课分成四部分讲解,第一部分对StreamingContext功能及源码剖析;第二部分对
DStream
功能及源码剖析;第三部分对Receiver功能及源码剖析;最后一部分将StreamingContext
18610086859
·
2016-04-28 09:41
context
Streaming
DStream
第84讲:StreamingContext、
DStream
、Receiver深度剖析
本课分成四部分讲解,第一部分对StreamingContext功能及源码剖析;第二部分对
DStream
功能及源码剖析;第三部分对Receiver功能及源码剖析;最后一部分将StreamingContext
qq_21234493
·
2016-04-26 14:00
spark
大数据
[置顶] Spark作业优化总结
作业优化总结1、首先初始化配置文件valconf=newSparkConf().setAppName("spark-demo")2、针对Spark-Streaming作业1)数据接收并行度调优,除了创建更多输入
DStream
kwu_ganymede
·
2016-04-26 00:00
spark
Spark-spark streaming
概念关联初始化streamingcontext离散流输入dstreamdstream的转化
dstream
的输出操作缓存或者持久化checkpointing部署应用程序监控应用程序性能调优减少批数据的执行事件设置正确的批容量内存调优容错语义
youdianjinjin
·
2016-04-21 23:00
spark
第84课:StreamingContext、
DStream
、Receiver深度剖析
StreamingContext、
DStream
、Receiver深度剖析
DT_Spark
·
2016-04-21 21:00
spark
大数据
Streaming
IMF
王家林
DT_Spark
0084:StreamingContext、
DStream
、Receiver深度剖析
StreamingContext、
DStream
、Receiver深度剖析本课分成四部分讲解,第一部分对StreamingContext功能及源码剖析;第二部分对
DStream
功能及源码剖析;第三部分对
andyshar
·
2016-04-20 16:00
java
源码
scala
spark
第84课 StreamingContext、
DStream
、Receiver深度剖析
本课是由DT大数据梦工厂推出的IMF传奇行动Spark课程的第84课,本期内容主要有:(1)StreamingContext功能及源码剖析;(2)
DStream
功能及源码剖析;(3)Receiver功能及源码剖析
DT_Spark
·
2016-04-07 14:00
spark
大数据
SparkStreaming笔记
其实不然,可以理解为数据向水流一样源源不断的从kafka中读取出来(只要定义了
DStream
,Spark程序就会将接收器在各个节点上启动,接收器会以独立线程的方式源源不断的接受数据),每积累30秒钟的数据作为一个
rongyongfeikai2
·
2016-04-06 23:00
Spark Streaming--实战篇
DStream
编程
MOBIN-F
·
2016-04-02 21:00
DStreams上的输出操作
dstream
.foreachRDD是一个强大的原语,发送数据到外部系统中。然而,明白怎样正确地、有效地用这个原语是非常重要的。下面几点介绍了如何避免一般错误。
AC-carrot
·
2016-03-31 22:00
spark
DStream
Spark Streaming:缓存与持久化机制
对
DStream
调用persist()方法,就可以让SparkStreaming自动将该数据流中的所有产生的RDD,都持久化到内存中。
kwu_ganymede
·
2016-01-25 22:00
spark
Spark Streaming:性能调优
每一个输入
DStream
都会在某个Worker的Executor上启动一个Receiver,该Receiver接收一个数据流。
kwu_ganymede
·
2016-01-25 10:55
Spark
Spark Streaming:性能调优
每一个输入
DStream
都会在某个Worker的Executor上启动一个Receiver,该Receiver接收一个数据流。
kwu_ganymede
·
2016-01-25 10:00
Spark Streaming编程讲解
3.
Dstream
,我们可以进行哪两种操作?参考:Spark:一个高效的分布式计算系统在看sparkStreaming,我们需要首先知道什么是Sparkstreaming?
wwwxxdddx
·
2015-12-28 15:00
Hadoop Streaming二次排序
-
Dstream
.num.map.output.key.fields=2这个,可以设置在map之后,进行partition时,使用前两个tab的数据进行排序(包括key和data中的第一列
arthur503
·
2015-12-23 16:00
Spark修炼之道(进阶篇)——Spark入门到精通:第十四节 Spark Streaming 缓存、Checkpoint机制
docs/latest/streaming-programming-guide.htmlSparkStream缓存Checkpoint案例1.SparkStream缓存通过前面一系列的课程介绍,我们知道
DStream
lovehuangjiaju
·
2015-11-30 23:00
spark
Spark修炼之道(进阶篇)——Spark入门到精通:第十二节 Spark Streaming——
DStream
Window操作
WindowOperationSparkStreaming提供窗口操作(WindowOperation),如下图所示:上图中,红色实线表示窗口当前的滑动位置,虚线表示前一次窗口位置,窗口每滑动一次,落在该窗口中的RDD被一起同时处理,生成一个窗口
DStream
lovehuangjiaju
·
2015-11-29 15:00
spark
Spark Streaming -
DStream
1OverviewSparkStreamingisanextensionofthecoreSparkAPIthatenablesscalable,high-throughput,fault-tolerantstreamprocessingoflivedatastreams.DatacanbeingestedfrommanysourceslikeKafka,Flume,Twitter,ZeroMQ,
sunflower627
·
2015-11-26 14:00
Spark修炼之道(进阶篇)——Spark入门到精通:第十一节 Spark Streaming——
DStream
Transformation操作
streaming-programming-guide.htmlDStreamTransformation操作1.Transformation操作TransformationMeaningmap(func)对
DStream
lovehuangjiaju
·
2015-11-25 23:00
spark
spark streaming updateStateByKey 用法
sparkstreamingupdateStateByKey用法分类: spark2015-08-1419:12 12308人阅读 评论(3) 收藏 举报spark函数class数据updateStateByKey解释: 以
DStream
buster2014
·
2015-11-16 14:00
spark
spark
Spark Streaming的编程模型
对于Spark来说,编程就是对于RDD的操作;而对于Spark Streaming来说,就是对
DStream
的操作。
·
2015-11-11 19:44
Stream
DStreamWordCount
importorg.apache.spark.storage.StorageLevelimportorg.apache.spark.streaming.
dstream
.ReceiverInputDStreamimportorg.apache.spark.streaming
王上京小伙
·
2015-11-04 15:06
Spark Streaming和Flume-NG对接实验
它将输入流切分成一个个的
DStream
转换为RDD,从而可以使用Spark来处理。
·
2015-11-01 09:01
Stream
spark-streaming系列------- 4. Spark-Streaming Job的生成和执行
Spark-StreamingJob的生成和执行可以通过如下图表示:Spark-StreamingJob的生产和和执行由以下3个部分相互作用生成:Driver程序:用户通过编写Driver程序描述了
DStream
u012684933
·
2015-10-29 14:00
Spark Streaming源码分析 – Checkpoint
PersistenceStreaming没有做特别的事情,
DStream
最终还是以其中的每个RDD作为job进行调度的,所以persistence就以RDD为单位按照原先Spark的方式去做就可以了,不同的是
·
2015-10-27 12:17
Stream
Spark Streaming源码分析 – JobScheduler
先给出一个job从被generate到被执行的整个过程在JobGenerator中,需要定时的发起GenerateJobs事件,而每个job其实就是针对
DStream
中的一个RDD,发起一个SparkContext.runJob
·
2015-10-27 12:16
scheduler
Spark Streaming源码分析 –
DStream
A Discretized Stream (
DStream
), the basic abstraction in Spark Streaming, is a continuous sequence of
·
2015-10-27 12:15
Stream
Spark源码系列(八)Spark Streaming实例分析
Example代码分析 val ssc = new StreamingContext(sparkConf, Seconds(1)); // 获得一个
DStream
负责连接 监听端口:地址 val
·
2015-10-26 15:18
Stream
spark streaming源码分析4
DStream
相关API
博客地址: http://blog.csdn.net/yueqian_zhu/一、InputDStream创建的操作(StreamingContext.scala)1、给定Receiver作为参数,创建ReceiverInputDStream,T为receiver接收到的数据类型defreceiverStream[T:ClassTag](receiver:Receiver[T]):Receiver
yueqian_zhu
·
2015-10-14 18:00
源码
spark
spark
Streaming
spark streaming源码分析2 从简单例子看
DStream
上的operation
博客地址: http://blog.csdn.net/yueqian_zhu/先贴一下上一节的例子objectNetworkWordCount{ defmain(args:Array[String]){ if(args.length") System.exit(1) } StreamingExamples.setStreamingLogLevels() //Createthecontextwi
yueqian_zhu
·
2015-10-12 19:00
源码
spark
spark
Streaming
使用ARM DS-5与
Dstream
StreamLine进行Android底层性能分析的一个实例
前言一个类似于Android的OS,只使用了BT机能的状态下,CPU的占有率超过20%,于是我们想看看是什么原因。本篇文章注意介绍了使用DstreamStreamLine来进行性能分析的过程和实例以及可能需要注意的地方。StreamLine准备使用StreamLine来分析性能主要包含以下几个过程配置内核使得内核可以产生一些性能相关的数据,以及一些设施用以支持gator,例如:高精度的timer(
sy373466062
·
2015-10-10 11:00
android
ARM
性能分析
DStream
ds-5
Spark Streaming基础概念介绍
本文就介绍一下sparkstreaming比较重要的概念一、术语介绍:离散流(discretizedstream)或
DStream
:这是SparkStreaming对内部持续的实时数据流的抽象描述,即我们处理的一个实时数据流
yueqian_zhu
·
2015-09-29 09:00
spark
spark
Streaming
第一个sparkstream例子
做法如下:首先,我们导入SparkStreaming的相关类以及一些从StreamingContext获得的隐式转换到我们的环境中,为我们所需的其他类(如
DStream
)提供有用的方法。
u012432611
·
2015-08-15 10:00
spark
spark streaming updateStateByKey 用法
updateStateByKey解释:以
DStream
中的数据进行按key做reduce操作,然后对各个批次的数据进行累加在有新的数据信息进入或更新时,可以让用户保持想要的任何状。
stark_summer
·
2015-08-14 19:00
spark
函数
数据
Class
hadoop streaming 输出数据分割与二次排序
可以用-
Dstream
.map.output.field.separator改变map输出中key和value的分隔符,用-
Dstream
.num.map.output.key.fields设置分隔符的位置
xhu_eternalcc
·
2015-07-30 11:00
hadoop
二次排序
Streaming
输出数据分割
Spark Streaming
SparkStreaming之一:StreamingContext解析http://blog.csdn.net/sunbow0/article/details/42966467SparkStreaming之二:
DStream
yizheyouye
·
2015-07-23 10:00
spark
解析
Streaming
spark中stream编程指导(二)
,该函数可以用在TCP套接字连接中接收来的数据创建一个
DStream
,除了套接字之外,StreamingContextAPI对于创建
DStream
还提供了其
wangxiaotongfan
·
2015-07-18 20:00
这几天折腾spark的kafka的低阶API createDirectStream的一些总结。
大家都知道在spark1.3版本后,kafkautil里面提供了两个创建
dstream
的方法,一个是老版本中有的createStream方法,还有一个是后面新加的createDirectStream方法
xiao_jun_0820
·
2015-07-16 15:00
Spark流编程指引(六)-----------------------DStreams上的输出操作
DStreams上的输出操作通过输出操作,我们可以将
DStream
的数据存放到数据库或者文件系统这样的外部系统中。
happyAnger6
·
2015-07-16 15:00
hadoop
scala
spark
spark
大数据
分布式
eclipse 开发 spark Streaming wordCount
package com.scala.spark.
dstream
import org.apache.spark.SparkConf import org.apache.spark.SparkContext
寻梦2012
·
2015-07-14 16:00
spark
Streaming
spark流处理
Spark流编程指引(四)---------------------------DStreams基本模型,输入DStreams和接收者
在内部实现上,
DStream
代表了一系列连续的RDDs.RDDs是Spark对不可变的,分布式数据集的抽象。
happyAnger6
·
2015-06-29 15:00
maven
scala
hadoop
spark
spark
大数据
batch
Spark流编程指引(二)----------------------一个快速的例子
我需要向下面这样去做:首先,导入SparkStreaming的类;再导入一些StreamingContext的隐式转换,来增加来自其它类(比如
DStream
)的有用方法。
happyAnger6
·
2015-06-28 11:00
scala
hadoop
spark
spark
大数据
分布式
batch
spark streaming 错误集锦
问题1:Nooutputstreamsregistered,sonothingtoexecute解决原因:没有触发
DStream
需要的aciton解决方法:使用以下方法之一触发:print()foreachRDD
wzq294328238
·
2015-05-27 12:00
【Spark八十六】Spark Streaming之
DStream
vs. InputDStream
DStream
的类说明文档: /** * A Discretized Stream (
DStream
), the basic abstraction in Spark Streaming
bit1129
·
2015-04-02 21:00
Stream
【Spark八十六】Spark Streaming之
DStream
vs. InputDStream
DStream
的类说明文档: /** * A Discretized Stream (
DStream
), the basic abstraction in Spark Streaming
bit1129
·
2015-04-02 21:00
Stream
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他