E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Matei
Spark 的架构与组件
1.1Spark的诞生和发展Spark的诞生可以追溯到2008年,当时Netflix的工程师
Matei
OpenChat
·
2024-01-29 21:24
spark
架构
大数据
分布式
Spark SQL之读取复杂的json数据
301、数据准备{"user":{"name":"Holden","location":"SanFrancisco"},"text":"Nicedayouttoday"}{"user":{"name":"
Matei
kun2736
·
2023-12-17 03:41
Photon论文解读 : A Fast Query Engine for Lakehouse Systems
这篇论文是databricks公司首次将内部的基于c++的native执行引擎细节发表在SIGMOD2022,作者公共23人,论文地址:https://www-cs.stanford.edu/~
matei
shining_yyds
·
2023-06-21 04:18
数据湖
大数据
spark
大数据
2019 三月 MLFlow 社区的各种数据
继ApacheMesos和ApacheSpark,MLFlow做为一个
Matei
大神最新的开源项目。。。社区反应相当强烈,一个月都高达42万下载量!!!欢迎大家使用和贡献代码!
smilegator
·
2021-06-27 06:09
Spark这是要一统江湖的节奏
Spark创始人
Matei
最近在sparksubmmit上做了一次演讲,看了内容会发现spark这是要一统江湖的架势,一起来看看都介绍了什么内容。
yoku酱
·
2020-08-19 07:41
Improving MapReduce Performance in Heterogeneous Environments
ImprovingMapReducePerformanceinHeterogeneousEnvironmentsMateiZaharia,AndyKonwinski,AnthonyD.Joseph,RandyKatz,IonStoicaUniversityofCalifornia,Berkeley{
matei
douglas8287
·
2020-08-15 07:27
转载专区
Spark学习笔记--超全,所有知识点全覆盖总结
Spark简介Spark是美国加州大学伯克利分校的AMP实验室(主要创始人lester和
Matei
)开发的通用的大数据处理框架。
vitrovitro
·
2020-07-29 01:47
Spark
BigData
spark的四种模式,spark比MapReduce快的原因
Spark是美国加州大学伯克利分校的AMP实验室(主要创始人lester和
Matei
)开发的通用的大数据处理框架。
道法—自然
·
2020-07-12 16:12
Spark学习
Sublime Text3主题与颜色设置
Sublimetext3工具栏上的[Preferences]-->PackageControl-->点击[InstallPackage]-->等约20秒钟,会弹出一个输入框,输入主题对应的关键字,比如:
Matei
sanqima
·
2020-07-01 04:58
生活
C++
电脑
sublime
text
spark的优点与理论
主创人
Matei
声称:“不把错误当特例处理。”言下之意,容错是基础设施的一部分。快:Spark对小数据集能达到亚
磊子-许
·
2020-06-30 04:00
spark
Spark 权威指南——Spark 是什么?(qbit)
前言本文是《Spark权威指南》的学习笔记#英文原著《Spark:TheDefinitiveGuide》Bill Chambers/
Matei
Zaharia著2018年2月第一版#中文译著《Spark
qbit
·
2020-05-27 23:42
spark
spark 基础知识整理(一)
Spark非常小巧玲珑,由加州伯克利大学AMP实验室的
Matei
为主的小团队所开发。使用的语言是Scala。
Graceleeman
·
2019-12-02 10:01
维护Spark的Committer都是些什么人?!
Spark,十年前,UCBerkeleyAmpLab创立【主作者Dr.
Matei
】,然后捐献给了ApacheSoftwareFoundation。现在的Spark
smilegator
·
2019-02-12 15:14
Near Real-Time Netflix Recommendations
当年
Matei
大神做Spark也就是为了让一个叫Lester的同学参加Netflix的视频推荐算法大赛,很可惜那一百万奖金失之交臂。。。不过,Spark诞生了!!!而如今,你们知道吗?
smilegator
·
2019-01-24 00:06
Spark 优化器 ML的论文
http://people.csail.mit.edu/
matei
/papers/2015/sigmod_spark_sql.pdfhttp://www.vldb.org/pvldb/vol4/p539
明星程序员之魔者侠情
·
2016-06-20 13:00
Spark
http://people.csail.mit.edu/
matei
/https://issues.apache.org/jira/secure/attachment/12655884/Sort-basedshuffledesign.pdfhttps
明星程序员之魔者侠情
·
2016-06-13 00:00
Bluemix中的Apache Spark数据分析服务入门
Spark非常小巧玲珑,由加州伯克利大学AMP实验室的
Matei
为主的小团队所开发。使用的语言是Scala,项目的core部分的代码只有63个Scala文件,非常短小精悍。
testcs_dn
·
2016-05-22 17:00
apache
数据分析
入门
spark
bluemix
初识Spark 1.6.0
1、Spark发展背景Spark由加州大学伯克利分校AMP实验室(Algorithms,Machines,andPeopleLab)以
Matei
为主的小团队使用Scala语言所开发,后期成立spark商业公司
安伦_Alan
·
2016-03-03 14:23
Spark
db papers
https://github.com/rxin/db-readingshttp://www.cs.berkeley.edu/%7Erxin/ http://people.csail.mit.edu/
matei
明星程序员之魔者侠情
·
2016-02-03 23:00
db papers
https://github.com/rxin/db-readingshttp://www.cs.berkeley.edu/%7Erxin/ http://people.csail.mit.edu/
matei
明星程序员之魔者侠情
·
2016-02-03 23:00
Spark安装与学习
摘要:Spark是继Hadoop之后的新一代大数据分布式处理框架,由UC Berkeley的
Matei
Zaharia主导开发。
·
2015-11-13 22:28
spark
Apache Spark源码走读之1 -- Spark论文阅读笔记
在对Spark的源码进行具体的走读之前,如果想要快速对Spark的有一个整体性的认识,阅读
Matei
Zaharia做的Spark论文是一个非常不错的选择。 在阅读该论文的基础之上,
·
2015-10-27 12:19
apache
Sparrow - Distributed, Low Latency Scheduling
http://www.cs.berkeley.edu/~
matei
/papers/2013/sosp_sparrow.pdf http://www.eecs.berkeley.edu/~keo/talks
·
2015-10-27 12:11
DI
Spark安装与学习
摘要:Spark是继Hadoop之后的新一代大数据分布式处理框架,由UC Berkeley的
Matei
Zaharia主导开发。
·
2015-10-21 12:44
spark
什么是Spark?
Spark非常小巧玲珑,由加州伯克利大学AMP实验室的
Matei
为主的小团队所开发。使用的语言是Scala,项目的core部分的代码只有63个Scala文件,非常短小精悍。
u011225629
·
2015-07-25 08:00
spark
究竟什么是RDD
http://www.cs.berkeley.edu/~
matei
/papers/2012/nsdi_spark.pdf是关于RDD的论文。
liyong1115
·
2015-04-11 14:00
Apache Spark MLlib学习笔记(二)Spark RDD简介和基本操作
第二篇介绍一下Spark的基本数据抽象——RDD,RDD来自伯克利的一篇论文,也就是http://www.cs.berkeley.edu/~
matei
/papers/2012/nsdi_spark.pdf
qiao1245
·
2015-04-03 11:00
apache
spark
RDD
关于Spark中RDD的思考和总结
网上介绍RDD的我看过的有: 0、 http://www.cs.berkeley.edu/~
matei
/papers/2012/nsdi_spark.pdf Spa
desmoon
·
2015-03-17 22:00
spark
2014 Spark美国峰会顶级数据商精彩PPT分享
Spark非常小巧玲珑,由加州伯克利大学AMP实验室的
Matei
为主的小团队所开发。使用的语言是Scala,项目的核心部分的代码只有63个Scala文件,非常短小精悍。
zhongwen7710
·
2015-01-22 14:00
spark
2014
数据科学家
Summit
Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象
论文地址http://www.cs.berkeley.edu/~
matei
/papers/2012/
zhongwen7710
·
2014-11-13 22:00
spark
Spark传说是神技
Spark非常小巧玲珑,由加州伯克利大学AMP实验室的
Matei
为主的小团队所开发。使用的语言是Scala,项目的core部分的代码只有63个Scala文件,非常短小精悍。
龙明倩
·
2014-10-30 17:37
Spark
hadoop
Spark技术内幕:究竟什么是RDD
http://www.cs.berkeley.edu/~
matei
/papers/2012/nsdi_spark.pdf是关于RDD的论文。
anzhsoft2008
·
2014-10-07 17:00
spark
DAG
stage
Spark :工作组上的集群计算的框架
,MichaelJ.Franklin,ScottShenker,IonStoicaUniversityofCalifornia,Berkeley翻译:Esri卢萌本文翻译自加州伯克利大学AMPlab的
Matei
allenlu2008
·
2014-09-16 21:00
mapreduce
scala
spark
大数据
并行计算
spark计算模型------基础理解
SparkSpark是一个小巧玲珑的项目,由Berkeley大学的
Matei
为主的小团队所开发。使用的语言是Scala,项目的core部分的代码只有63个Scala文件,充分体现了精简之美。
hao707822882
·
2014-08-26 21:00
spark
【系列】
Matei
Zaharia(Spark系统作者)博士论文-1 引言
由于单台机器的计算能力和I/O能力已经无法满足不断增长的数据处理需求,越来越多的组织需要将应用扩展到更大规模的集群上。但在集群环境中,可编程性方面将遇到以下几个挑战: 并行编程问题;为了将应用并行化,需要并行编程模型的支撑。容错和慢节点问题;当集群规模相当大时,这个问题也是非常严重的。多用户共享集群要求能具备弹性计算的能力,此外还要考虑干扰问题。结果就是出现了很多编程模型,首先是MapReduce
Hipercomer
·
2014-08-06 14:00
spark
RDD
分布式系统
集群计算
【系列】
Matei
Zaharia(Spark系统作者)博士论文-0 摘要
随着处理器提升速度下降和数据量的不断增长,很多公司和组织(既有互联网公司也有传统的企业还有一些研究机构)都要求他们的应用能够Scaleout到更大的分布式系统上(比如整个数据中心)。这些应用又分为以下几种类型:机器学习类型的应用(machinelearningalgorithms)查询类型应用(simplequeries)图处理类型应用(graphanalysis)批处理应用(batchproce
Hipercomer
·
2014-08-05 17:00
spark
RDD
分布式计算系统
Matei
什么是spark
Spark非常小巧玲珑,由加州伯克利大学AMP实验室的
Matei
为主的小团队所开发。使用的语言是Scala,项目的core部分的代码只有63个Scala文件,非常短小精悍。
hwssg
·
2014-07-17 15:00
spark
十分钟了解分布式计算:Spark
内容基于论文Zaharia,
Matei
,etal."
小唯THU
·
2014-06-13 19:00
Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象
论文地址http://www.cs.berkeley.edu/~
matei
/papers/2012/
baiyangfu
·
2014-04-11 15:00
Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象
论文地址http://www.cs.berkeley.edu/~
matei
/papers/2012/
lantian0802
·
2014-03-29 16:00
spark
Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象
论文地址http://www.cs.berkeley.edu/~
matei
/papers/2012/
zbf8441372
·
2013-08-15 20:00
spark
Spark随谈(一)—— 总体架构
http://www.16kan.com/post/113877.htmlSpark是一个小巧玲珑的项目,由Berkeley大学的
Matei
为主的小团队所开发。
bluetropic
·
2013-07-27 11:00
spark 并行计算模型
SparkSpark是一个小巧玲珑的项目,由Berkeley大学的
Matei
为主的小团队所开发。使用的语言是Scala,项目的core部分的代码只有63个Scala文件,充分体现了精简之美。
changtao381
·
2012-12-19 23:00
spark
并行计算
Spark随谈(一)―― 总体架构
Spark是一个小巧玲珑的项目,由Berkeley大学的
Matei
为主的小团队所开发。使用的语言是Scala,项目的core部分的代码只有63个Scala文件,充分体现了精简之美。
阿里中间件
·
2012-06-13 17:00
spark
总体架构
随谈
Spark随谈(一)—— 总体架构
Spark是一个小巧玲珑的项目,由Berkeley大学的
Matei
为主的小团队所开发。使用的语言是Scala,项目的core部分的代码只有63个Scala文件,充分体现了精简之美。
阿里中间件
·
2012-06-13 17:00
Spark
总体架构
随谈
分布式和集群
Improving MapReduce Performance in Heterogeneous Environments
Joseph, RandyKatz, IonStoicaUniversityofCalifornia,Berkeley{
matei
,andyk,adj,randy,stoica}@cs.berk
hai0378
·
2012-05-29 09:00
performance
上一页
1
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他