E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Dstream
SparkStreaming之Output Operations
OutputOperationOnDStream输出操作允许
DStream
的数据保存在外部系统中,像数据库或者文件系统。
legotime
·
2016-07-06 07:00
源码
spark
SparkStreaming
SparkStreaming之窗口函数
如图所示,每个时间窗口在一个个
DStream
中划过,每个DSteam中的RDD进入Window中进行合并,操作时生成为窗口化DSteam的RDD。
legotime
·
2016-07-06 07:50
SparkStreaming
SparkStreaming之窗口函数
如图所示,每个时间窗口在一个个
DStream
中划过,每个DSteam中的RDD进入Window中进行合并,操作时生成为窗口化DSteam的RDD。
legotime
·
2016-07-06 07:00
源码
spark
SparkStreaming
SparkStreaming之foreachRDD
DStream
中的foreachRDD是一个非常强大函数,它允许你把数据发送给外部系统。因为输出操作实际上是允许外部系统消费转换后的数据,它们触发的实际操作是
DStream
转换。
legotime
·
2016-07-06 07:00
源码
spark
SparkStreaming
SparkStreaming之
DStream
operations
DStreams支持各种转换,他们是基于Spark的RDD的,一些常规的转换如下:但是和和RDD有点区别,那就是
DStream
是内部含有多个RDD,它是用HashMap接受流进来的RDDprivate[
legotime
·
2016-07-06 07:00
源码
spark
SparkStreaming
spark机器学习
Spark定制班第28课:在集成开发环境中详解Spark Streaming的运行日志内幕
在提交作业前,先构建
DStream
andyshar
·
2016-06-24 10:35
Scala
大数据技术
Spark
第127课: Spark Streaming源码经典解读系列之二:Spark Streaming生成RDD
第127课:SparkStreaming源码经典解读系列之二:SparkStreaming生成RDD并执行SparkJob源码内幕解密.1
DStream
产生RDD的案例实战2
DStream
作为RDD的原理机制
段智华
·
2016-06-20 20:26
Hadoop
Spark定制班第18课:Spark Streaming中空RDD处理及流处理程序优雅的停止
本期内容:1SparkStreaming中的空RDD处理2SparkStreaming程序的停止1SparkStreaming中的空RDD处理在SparkStreaming应用程序中,无论使用什么
DStream
andyshar
·
2016-06-05 23:25
Scala
大数据技术
Spark
DStream
, DStreamGraph 详解
本文内容适用范围:2016.02.25update,Spark2.0全系列√(2.0.0-SNAPSHOT尚未正式发布)2016.03.10update,Spark1.6全系列√(1.6.0,1.6.1)2015.11.09update,Spark1.5全系列√(1.5.0,1.5.1,1.5.2)2015.07.15update,Spark1.4全系列√(1.4.0,1.4.1) 阅读本文前,请
nengyu
·
2016-06-05 15:00
详解
DStream
DStreamGraph
Spark 定制版:009~Spark Streaming源码解读之Receiver在Driver的精妙实现全生命周期彻底研究和思考
上节回顾上一讲中,我们给大家具体分析了RDD的物理生成和逻辑生成过程,彻底明白
DStream
和RDD之间的关系,及其内部其他有关类的具体依赖等信息:a.
DStream
是RDD的模板,其内部generatedRDDs
zisheng_wang_DATA
·
2016-05-30 01:00
源码
spark
启动
receiver
方式设想
第8课:Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
本期内容
Dstream
与rdd关系彻底研究
Dstream
中rdd生成彻底研究从整个sparkstreaming角度来考虑,rdd分为三个方面的内容:a.怎么生成的,依靠什么生成的;b.runtime角度
MichaelLi916
·
2016-05-29 00:00
spark
Spark 定制版:008~Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
本讲内容:a.
DStream
与RDD关系的彻底的研究b.Streaming中RDD的生成彻底研究注:本讲内容基于Spark1.6.1版本(在2016年5月来说是Spark最新版本)讲解。
zisheng_wang_DATA
·
2016-05-25 23:00
源码
spark
RDD
Streaming
DStream
(版本定制)第13课:Spark Streaming源码解读之Driver容错安全性
本期内容:1.ReceiverBlockTracker容错安全性2.
DStream
和JobGenerator容错安全性一:容错安全性1.ReceivedBlockTracker负责管理SparkStreaming
Spark_2016
·
2016-05-25 13:14
Driver
Spark
Streaming
Spark版本定制
(版本定制)第13课:Spark Streaming源码解读之Driver容错安全性
本期内容:1.ReceiverBlockTracker容错安全性 2.
DStream
和JobGenerator容错安全性一:容错安全性 1.ReceivedBlockTracker负责管理SparkStreaming
18610086859
·
2016-05-25 13:14
spark
driver
Streaming
第7课:Spark Streaming源码解读之JobScheduler内幕实现和深度思考
深度思考JobScheduler是整个streaming调度的核心,相当于core中的DAGScheduler.当我们定义了batchDuration之后,就规定了按照什么样的频率来生成具体的job.根据
dstream
MichaelLi916
·
2016-05-24 23:00
源码
spark
第7课:Spark Streaming源码解读之JobScheduler内幕实现和深度思考
深度思考JobScheduler是整个streaming调度的核心,相当于core中的DAGScheduler.当我们定义了batchDuration之后,就规定了按照什么样的频率来生成具体的job.根据
dstream
MichaelLi916
·
2016-05-24 23:00
源码
spark
DT大数据梦工厂Spark定制班笔记(013)
2.逻辑层面:
DStream
3.作业调度层面,JobGenerator是Job调度层面的,负责监控具体调度到什么程度了。
ry076
·
2016-05-24 22:32
第13课:Spark Streaming源码解读之Driver容错安全性
本篇博文的目标如下:1.ReceiverBlockTracker容错安全性2.
DStream
和JobGenerator容错安全性文章的组织思路如下:考虑Driver容错安全性,我们要思考什么?
snail_gesture
·
2016-05-24 19:00
java
源码
hadoop
scala
spark
第13课:Spark Streaming源码解读之Driver容错安全性
本期内容:ReceivedBlockTracker容错安全性
DStream
和JobGenerator容错安全性Driver的容错有两个层面:1.Receiver接收数据的元数据2.Driver管理的各组件信息
lqding1980
·
2016-05-22 18:43
Driver
容错
Streaming
Spark源码定制课程
第13课:Spark Streaming源码解读之Driver容错安全性
本期内容:ReceivedBlockTracker容错安全性
DStream
和JobGenerator容错安全性Driver的容错有两个层面:1.Receiver接收数据的元数据2.Driver管理的各组件信息
lqding1980
·
2016-05-22 18:43
driver
容错
Streaming
DT大数据梦工厂Spark定制班笔记(008)
SparkStreaming源码解读之RDD生成全生命周期彻底研究和思考
DStream
是RDD的模板,每隔一个batchInterval会根据
DStream
模板生成一个对应的RDD。
ry076
·
2016-05-22 15:24
(版本定制)第8课:Spark Streaming源码解读之RDD生成生命周期彻底研究和思考
本篇博客将详细探讨
DStream
模板下的RDD是如何被创建,然后被执行的。在开始叙述之前,先来思考几个问题,本篇文章也就是基于此问题构建的。1.RDD是谁产生的?2.如何产生RDD?
Spark_2016
·
2016-05-21 11:24
Spark
streaming
RDD
Spark版本定制
(版本定制)第8课:Spark Streaming源码解读之RDD生成生命周期彻底研究和思考
本篇博客将详细探讨
DStream
模板下的RDD是如何被创建,然后被执行的。在开始叙述之前,先来思考几个问题,本篇文章也就是基于此问题构建的。 1.RDD是谁产生的? 2.如何产生RDD?
18610086859
·
2016-05-21 11:24
spark
RDD
Streaming
Spark定制班第8课:Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
本期内容:1
DStream
与RDD关系的彻底的研究2StreamingRDD的生成彻底研究我们有必要来思考三个重要有价值的问题:1
DStream
生成RDD的过程,
DStream
到底是怎么生成RDD的?
andyshar
·
2016-05-19 23:00
源码
scala
spark
架构
解密
Spark定制班第7课:Spark Streaming源码解读之JobScheduler内幕实现和深度思考
本期内容1.JobScheduler内幕实现2.JobScheduler深度思考1.JobScheduler内幕实现我们在进行SparkStreaming开发的时候,会对
DStream
进行各种transform
andyshar
·
2016-05-19 11:00
源码
scala
spark
架构
解密
第8课:Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
本篇博客将详细探讨
DStream
模板下的RDD是如何被创建,然后被执行的。在开始叙述之前,先来思考几个问题,本篇文章也就是基于此问题构建的。1.RDD是谁产生的?2.如何产生RDD?
snail_gesture
·
2016-05-18 22:00
java
hadoop
scala
spark
流处理
6.Spark streaming技术内幕 : Job动态生成原理与源码解析
阅读更多原创文章,转载请注明:转载自周岳飞博客(http://zhou-yuefei.iteye.com/)Sparkstreaming程序的运行过程是将
DStream
的操作转化成RDD的操作,SparkStreaming
zhou_yuefei
·
2016-05-17 23:00
spark
Streaming
Job动态生成
JobScheduler
源码分析
6.Spark streaming技术内幕 : Job动态生成原理与源码解析
阅读更多原创文章,转载请注明:转载自周岳飞博客(http://zhou-yuefei.iteye.com/)Sparkstreaming程序的运行过程是将
DStream
的操作转化成RDD的操作,SparkStreaming
zhou_yuefei
·
2016-05-17 23:00
spark
Streaming
Job动态生成
JobScheduler
源码分析
6.Spark streaming技术内幕 : Job动态生成原理与源码解析
原创文章,转载请注明:转载自周岳飞博客(http://zhou-yuefei.iteye.com/) Sparkstreaming程序的运行过程是将
DStream
的操作转化成RDD的操作,SparkStreaming
zhou_yuefei
·
2016-05-17 23:00
spark
源码分析
Streaming
JobScheduler
Job动态生成
6.Spark streaming技术内幕 : Job动态生成原理与源码解析
原创文章,转载请注明:转载自 周岳飞博客(http://zhou-yuefei.iteye.com/) Sparkstreaming程序的运行过程是将
DStream
的操作转化成RDD的操作,SparkStreaming
zhou_yuefei
·
2016-05-17 23:00
spark
原理
job
源码解析
Streaming
JobScheduler
6.Spark streaming技术内幕 : Job动态生成原理与源码解析
阅读更多原创文章,转载请注明:转载自周岳飞博客(http://zhou-yuefei.iteye.com/)Sparkstreaming程序的运行过程是将
DStream
的操作转化成RDD的操作,SparkStreaming
zhou_yuefei
·
2016-05-17 23:00
spark
streaming
job
JobScheduler
源码解析
原理
6.Spark streaming技术内幕 : Job动态生成原理与源码解析
阅读更多原创文章,转载请注明:转载自周岳飞博客(http://zhou-yuefei.iteye.com/)Sparkstreaming程序的运行过程是将
DStream
的操作转化成RDD的操作,SparkStreaming
zhou_yuefei
·
2016-05-17 23:00
spark
streaming
job
JobScheduler
源码解析
原理
第3课:解密SparkStreaming运行机制和架构进阶之Job和容错
本期内容:1、解密SparkStreamingJob架构和运行机制2、解密SparkStreaming容错架构和运行机制运行过程
dstream
.SocketInputDStreamscheduler.ReceivedBlockTrackerscheduler.InputInfoTrackerscheduler.JobSchedulerscheduler.DAGSchedulerstorage.Me
罗白莲
·
2016-05-15 20:37
Spark发行版笔记
第8课:Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
DStream
是RDD的模板,每隔一个batchInterval会根据
DStream
模板生成一个对应的RDD。
lqding1980
·
2016-05-14 21:22
Job
Streaming
RDD
Spark源码定制课程
第8课:Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
DStream
是RDD的模板,每隔一个batchInterval会根据
DStream
模板生成一个对应的RDD。
lqding1980
·
2016-05-14 21:22
job
RDD
Streaming
Spark Streaming源码解读之JobScheduler内幕实现和深度思考
DStream
是SparkStreaming中数据处理的单位,
DStream
是RDD的模板,集合,下图是使用简单的print函数,来说明,逻辑级别的DSt
hanburgud
·
2016-05-13 11:00
spark
spark
大数据
Streaming
Streaming
JobScheduler
[置顶] Spark版本定制版3-通过案例对SparkStreaming透彻理解三板斧之三
上节回顾:上节课谈到SparkStreaming是基于
DStream
编程。
DStream
是逻辑级别的,而RDD是物理级别的。
DStream
是随着时间的流动内部将集合封装RDD。对DStrea
qq_21234493
·
2016-05-12 18:00
spark
大数据
SparkStreaming
Spark Streaming源码解读之Job动态生成和深度思考
一、
DStream
大体分为三种类型:1、输入的DStreams;2、输出的DStreams,是一个逻辑级别的Action,它是SparkStreaming框架提出的,它的底层还是会被翻译
hanburgud
·
2016-05-12 13:00
spark
spark
大数据
Streaming
Streaming
JobGenerator
第92讲 SparkStreming中的Transformations和状态管理
本期内容:1.SparkStreaming中的Transforamtions2.SparkStreaming中的状态管理一.
DStream
就是一个RDD之上的一个抽象,
DStream
和时间结合起来就不断的触发产生
qq_21234493
·
2016-05-10 11:00
spark
SparkStreaming
第2课:通过案例对SparkStreaming 透彻理解三板斧之二:解密SparkStreaming
从昨天第一课的黑名单过滤的案例中,我們可以看見其實一個SparkStreaming程序,里面會自動生成很多不同的作業,可以用以下的圖,去理解什麼是
DStream
,它跟RDD之間有什麼不同。
IMF-无情JC
·
2016-05-10 00:00
Spark中文手册5:Spark之基本概念(3)
在
DStream
上使用persist()方法可以自动地持久化
DStream
中的RDD到内存中。如果
DStream
中的数据需要
wanmeilingdu
·
2016-05-09 21:00
spark
Spark中文手册4:Spark之基本概念(2)
转自:http://www.aboutyun.com/thread-11516-1-1.html问题导读1、什么是
DStream
转换?2、什么是窗口计算?3、怎样最有效的将发生数据到外部系统?
wanmeilingdu
·
2016-05-09 21:00
spark
Spark 定制版:003~Spark Streaming(三)
上节回顾:上节课谈到SparkStreaming是基于
DStream
编程。
DStream
是逻辑级别的,而RDD是物理级别的。
DStream
是随着时间的流动内部将集合封装RDD。对
DStream
zisheng_wang_DATA
·
2016-05-08 17:00
spark
job
回顾
Streaming
运行机制
第2课:通过案例对SparkStreaming透彻理解三板斧之二:解密SparkStreaming运行机制和架构
二、
DStream
是逻辑级别的,而RDD是物理级别的。
DStream
是随着时间的流动内部将集合封装RDD。对
DStream
的操作,转过来对其内部的R
chinsun_1
·
2016-05-07 14:00
通过案例对SparkStreaming透彻理解三板之二
.解密SparkStreaming运行机制2.解密SparkStreaming架构I.SparkCore是基于RDD形成的,RDD之间都会有依赖关系,SparkStreaming在RDD上的时间维度,
DStream
cary_1991
·
2016-05-06 23:00
spark
大数据
Streaming
IMF
Spark版本定制
Spakr
SparkStreaming 事务处理彻底掌握
Executor中Receiver接收到数据并把数据(metadata)汇报给driver,收到数据之后,为了数据的安全性进行checkpoint(包含configuration,BlockMetaData,
DStream
feihuanzhuimeng8
·
2016-05-06 22:07
spark
streaming
spark
IMF
spark
core
spark
sql
spark版本定制二
从DSteamGraph中可以看到,
DStream
的逻辑与RDD基本一致,它就是在RDD的基础上加上了时间的依赖。
数据china
·
2016-05-05 09:00
第93课:SparkStreaming updateStateByKey 基本操作综合案例实战和内幕源码解密
SparkStreaming的
DStream
为我们提供了一个updateStateByKey方法,它的主要功能是可以随着时间的流逝在SparkStreaming中为每一个key维护一份state状态,通过更新函数对该
lqding1980
·
2016-05-03 21:48
update
Spark
Streaming
Spark
IMF
课程
第93课:SparkStreaming updateStateByKey 基本操作综合案例实战和内幕源码解密
SparkStreaming的
DStream
为我们提供了一个updateStateByKey方法,它的主要功能是可以随着时间的流逝在SparkStreaming中为每一个key维护一份state状态
lqding1980
·
2016-05-03 21:48
spark
update
Streaming
第2课:通过案例对SparkStreaming 透彻理解三板斧之二
透彻理解三板斧之二 空间维度:Y轴代表RDD的依赖关系构成的具体的处理逻辑的步骤,是用DStreamGraph表示的 时间维度:X轴按照特定间隔不断的生成job的实例并在集群上运行 随着时间的流失基于
DStream
duan_zhihua
·
2016-05-03 21:00
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他