spark源码

Spark源码调试分析（一）－－－－－－－－－－－－－调试环境准备

1.Spark源码版本采用最新的1.4.1http://spark.apache.org/downloads.html首先下载源码并解压。2.下载ItellijiIDEA,选择免费的社区版本
happyAnger6·2015-07-26 10:00

DT大数据梦工厂 第66讲

第66讲：Scala并发编程实战初体验及其在Spark源码中的应用解析百度云：http://pan.baidu.com/s/1pJ5jzHx腾讯微云：http://url.cn/aSawrm360云盘：
·2015-07-23 20:00

第66讲：Scala并发编程实战初体验及其在Spark源码中的应用解

第66讲：Scala并发编程实战初体验及其在Spark源码中的应用解析百度云：http://pan.baidu.com/s/1pJ5jzHx腾讯微云：http://url.cn/aSawrm360云盘：
zhumr·2015-07-23 18:00

[置顶] Spark与Scala学习

Spark学习配置Spark源码阅读环境Spark的Standalone模式安装部署Spark生态和Spark架构Spark基本概念弹性分布式数据集RDD概述Spark应用执行机制RDD操作详解1——Transformation
JasonDing1354·2015-07-15 22:00

【Spark】DAGScheduler源码浅析2

引入上一篇文章DAGScheduler源码浅析主要从提交Job的流程角度介绍了DAGScheduler源码中的重要函数和关键点，这篇DAGScheduler源码浅析2主要参考fxjwind的Spark源码分析
JasonDing1354·2015-07-15 17:50

【Spark】DAGScheduler源码浅析2

引入上一篇文章DAGScheduler源码浅析主要从提交Job的流程角度介绍了DAGScheduler源码中的重要函数和关键点，这篇DAGScheduler源码浅析2主要参考fxjwind的Spark源码分析
JasonDing1354·2015-07-15 17:00

Spark源码解读-JOB的提交与执行

本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOMEMASTER=loca
sunlei1980·2015-06-13 18:00

Spark的编译

下面介绍一下Spark源码编译的详细步骤： 1、Spark的编译方式：编译的方式可以参考官网：https://spark.apache.org/docs/latest/building-spark.html
·2015-06-11 11:00

Apache Spark源码走读之3 -- Task运行期之函数调用关系分析

概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备1.spark已经安装完毕2.spark运行在localmode或local-clustermodelocal-clustermodelocal-cluster模式也称为伪分布式，可以使用如下指令运行MASTER=local[1,
超人学院66·2015-06-01 17:47

Apache Spark源码走读之3 -- Task运行期之函数调用关系分析

概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备1.spark已经安装完毕2.spark运行在localmode或local-clustermodelocal-clustermodelocal-cluster模式也称为伪分布式，可以使用如下指令运行MASTER=local[1,
超人学院·2015-06-01 16:00

Apache Spark源码分析-- Job的提交与运行

本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOMEMASTER=loca
超人学院66·2015-05-28 16:34

Apache Spark源码分析-- Job的提交与运行

本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOMEMASTER=loca
超人学院·2015-05-28 16:00

【Spark】配置Spark源码阅读环境

Scala构建工具（SBT）的使用SBT介绍SBT是SimpleBuildTool的简称，如果读者使用过Maven，那么可以简单将SBT看做是Scala世界的Maven，虽然二者各有优劣，但完成的工作基本是类似的。虽然Maven同样可以管理Scala项目的依赖并进行构建，但SBT的某些特性却让人如此着迷，比如：使用Scala作为DSL来定义build文件（onelanguagerulesthema
JasonDing1354·2015-05-28 16:00

大数据Spark视频【第六阶段】

彻底研究了Spark从0.5到0.9.1共13个版本的Spark源码，并已完
黑衣天使·2015-04-30 15:00

大数据Spark视频【第六阶段】

彻底研究了Spark从0.5到0.9.1共13个版本的Spark源码，并已完
黑衣天使·2015-04-30 15:00

spark源码学习(二)------------spark-shell启动分析

上一节学习了spark源码的编译方法，这一节我们跟踪一下spark-shell的启动.spark-shell是spark提供一个控制台，通过它我们可以方便的学习spark的API，类似于scala的REPL.spark-shell
happyAnger6·2015-04-23 23:00

Spark源码学习(一)---------编译源码

学习spark源码的第一步，就是编译源码，这样方便我们以后修改和调试。
happyAnger6·2015-04-22 23:00

Spark源码系列（二）RDD详解

http://www.cnblogs.com/cenyuhai/p/3779125.html最近在阅读源码，发现这篇博客内容非常好，有助于快速理解代码。1、什么是RDD？上一章讲了Spark提交作业的过程，这一章我们要讲RDD。简单的讲，RDD就是Spark的input，知道input是啥吧，就是输入的数据。RDD的全名是ResilientDistributedDataset，意思是容错的分布式数
yunlong34574·2015-04-11 13:00

Apache Spark探秘：利用Intellij IDEA构建开发环境

http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/前段时间写了几篇使用Eclipse构建Spark源码阅读和开发环境的文章
hechenghai·2015-04-11 13:00

Apache Spark MLlib学习笔记（四）Intellij上部署Spark源码

源码分析是一件工作量很大的工作，尤其是spark这样的大工程，因此一定要使用IDE才能较好的理顺各个类的关系。看别人经验，都推荐使用intelliJ编辑器。在此也要介绍一下ubuntu系统下spark在intelliJ上的部署。1，配置java和scala开发环境spark依赖java和scala环境，因此要先安装JDK，具体方法可以参看以前的一篇博客。2，安装intellij首先去官网下载安装包
qiao1245·2015-04-08 15:00

Spark的Standalone模式部署

/make-distribution.sh --hadoop 2.2.0 --with-yarn --tgzspark源码根目录下的make-distribution.sh可以带以下参数：--tgz：在根目录下生成
dannyhe·2015-04-01 14:00

让cloudera manager装的spark支持hql

如何编译spark源码的assembly来支持hive前面的文章已经介绍过，如果你是用cm装的搭建的集群：第一步：在cm中的sparkservice里指定gateway为你要使用spark命令行的节点。
xiao_jun_0820·2015-03-27 19:00

spark源码目录执行 sbt/sbt package遇到错误

对spark源码进行编译下载时出现如下错误java.io.IOException: Cannot run program "git": error=2, 没有那个文件或目录问题出现原因是没有安装git解决方法
码-蚁·2015-03-27 11:00

Apache Spark源码剖析

ApacheSpark源码剖析（全面系统介绍Spark源码，提供分析源码的实用技巧和合理的阅读顺序，充分了解Spark的设计思想和运行机理）许鹏著  ISBN978-7-121-25420-82015年
博文视点·2015-03-24 17:26

Apache Spark源码剖析

ApacheSpark源码剖析（全面系统介绍Spark源码，提供分析源码的实用技巧和合理的阅读顺序，充分了解Spark的设计思想和运行机理）许鹏著  ISBN978-7-121-25420-82015年
博文视点·2015-03-24 17:26

Apache Spark源码剖析

Apache Spark源码剖析（全面系统介绍Spark源码，提供分析源码的实用技巧和合理的阅读顺序，充分了解Spark的设计思想和运行机理） 许鹏 著   ISBN 978-
博文视点Broadview·2015-03-24 10:00

Apache Spark源码剖析

Apache Spark源码剖析（全面系统介绍Spark源码，提供分析源码的实用技巧和合理的阅读顺序，充分了解Spark的设计思想和运行机理） 许鹏 著   ISBN 978-
·2015-03-24 10:00

使用IntelliJ IDEA编译spark-1.3.0源码

1、下源spark源码spark-1.3.0.tgz，并解压；2、打开IntelliJIDEA，在欢迎界面上，选择“ImportProject”。
chx3515·2015-03-23 17:13

Apache Spark源码剖析

全面系统介绍Spark源码，提供分析源码的实用技巧和合理的阅读顺序，充分了解Spark的设计思想和运行机理！
broadview2006·2015-03-23 09:00

Apache Spark源码走读之3 -- Task运行期之函数调用关系分析

概要 本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。 准备 spark已经安装完毕 spark运行在local mode或local-cluster mode local-cluster mode local-cluster模式也称为伪分布式，可以使用如下指令运行
wbj0110·2015-03-17 18:00

Apache Spark源码走读之3 -- Task运行期之函数调用关系分析

概要 本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。 准备 spark已经安装完毕 spark运行在local mode或local-cluster mode local-cluster mode local-cluster模式也称为伪分布式，可以使用如下指令运行
wbj0110·2015-03-17 18:00

Apache Spark源码走读之3 -- Task运行期之函数调用关系分析

概要 本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。 准备 spark已经安装完毕 spark运行在local mode或local-cluster mode local-cluster mode local-cluster模式也称为伪分布式，可以使用如下指令运行
wbj0110·2015-03-17 18:00

Apache Spark源码走读之2 -- Job的提交与运行

概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载sparkbinary0.9.1安装scala安装sbt安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOMEMASTER=localbin/s
wbj0110·2015-03-16 13:00

Apache Spark源码走读之2 -- Job的提交与运行

概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载sparkbinary0.9.1安装scala安装sbt安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOMEMASTER=localbin/s
wbj0110·2015-03-16 13:00

Apache Spark源码走读之2 -- Job的提交与运行

概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载sparkbinary0.9.1安装scala安装sbt安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOMEMASTER=localbin/s
wbj0110·2015-03-16 13:00

Apache Spark源码走读之1 -- Spark论文阅读笔记

楔子源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读MateiZaharia做的Spark论文是一个非常不错的选择。在阅读该论文的基础之上，再结合Spark作者在2012DeveloperMe
wbj0110·2015-03-16 12:00

Apache Spark源码走读之1 -- Spark论文阅读笔记

楔子源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读MateiZaharia做的Spark论文是一个非常不错的选择。在阅读该论文的基础之上，再结合Spark作者在2012DeveloperMe
wbj0110·2015-03-16 12:00

Apache Spark源码走读之1 -- Spark论文阅读笔记

楔子源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读MateiZaharia做的Spark论文是一个非常不错的选择。在阅读该论文的基础之上，再结合Spark作者在2012DeveloperMe
wbj0110·2015-03-16 12:00

Apache Spark源码走读之22 -- 浅谈mllib中线性回归的算法实现

ApacheSpark源码走读之22--浅谈mllib中线性回归的算法实现欢迎转载，转载请注明出处，徽沪一郎。
javastart·2015-03-13 20:00

Windows下使用sbt打造Intellij Idea环境下Spark源码阅读环境

在windows下搭建Spark源码阅读环境的准备Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发
yhao2014·2015-03-09 11:00

(三)spark源码理解之MapOutTracker

MapOutTracker主要用来存放shufflemapstage的输出，因为主从节点的MapOutTracker实现机制不一样，所以它是一个抽象类，主要维护和记录map的状态，添加或移除shuffle，以及从节点从主节点上获取相应shuffle的状态1.MapOutTrackerMaster主节点上的MapOutTracker，继承MapOutTracker，因此也继承MapOutTracke
竹落·2015-03-06 17:19

Spark源码系列（五）分布式缓存

这一章想讲一下Spark的缓存是如何实现的。这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。defpersist(newLevel:StorageLevel):this.type={//StorageLevel不能随意更改if(storageLevel!=StorageLevel.NONE&&newLevel!=storageLevel){thrownewUnsupporte
wbj0110·2015-02-27 15:00

Spark源码系列（六）Shuffle的过程解析

Spark大会上，所有的演讲嘉宾都认为shuffle是最影响性能的地方，但是又无可奈何。之前去百度面试hadoop的时候，也被问到了这个问题，直接回答了不知道。这篇文章主要是沿着下面几个问题来开展：1、shuffle过程的划分？2、shuffle的中间结果如何存储？3、shuffle的数据如何拉取过来？Shuffle过程的划分Spark的操作模型是基于RDD的，当调用RDD的reduceByKey
wbj0110·2015-02-27 15:00

Spark源码系列（六）Shuffle的过程解析

Spark大会上，所有的演讲嘉宾都认为shuffle是最影响性能的地方，但是又无可奈何。之前去百度面试hadoop的时候，也被问到了这个问题，直接回答了不知道。这篇文章主要是沿着下面几个问题来开展：1、shuffle过程的划分？2、shuffle的中间结果如何存储？3、shuffle的数据如何拉取过来？Shuffle过程的划分Spark的操作模型是基于RDD的，当调用RDD的reduceByKey
wbj0110·2015-02-27 15:00

Spark源码系列（六）Shuffle的过程解析

Spark大会上，所有的演讲嘉宾都认为shuffle是最影响性能的地方，但是又无可奈何。之前去百度面试hadoop的时候，也被问到了这个问题，直接回答了不知道。这篇文章主要是沿着下面几个问题来开展：1、shuffle过程的划分？2、shuffle的中间结果如何存储？3、shuffle的数据如何拉取过来？Shuffle过程的划分Spark的操作模型是基于RDD的，当调用RDD的reduceByKey
wbj0110·2015-02-27 15:00

Spark源码系列（五）分布式缓存

这一章想讲一下Spark的缓存是如何实现的。这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。defpersist(newLevel:StorageLevel):this.type={//StorageLevel不能随意更改if(storageLevel!=StorageLevel.NONE&&newLevel!=storageLevel){thrownewUnsupporte
wbj0110·2015-02-27 15:00

Spark源码系列（五）分布式缓存

这一章想讲一下Spark的缓存是如何实现的。这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。defpersist(newLevel:StorageLevel):this.type={//StorageLevel不能随意更改if(storageLevel!=StorageLevel.NONE&&newLevel!=storageLevel){thrownewUnsupporte
wbj0110·2015-02-27 15:00

Spark源码系列（四）图解作业生命周期

这一章我们探索了Spark作业的运行过程，但是没把整个过程描绘出来，好，跟着我走吧，letyouknow！我们先回顾一下这个图，DriverProgram是我们写的那个程序，它的核心是SparkContext，回想一下，从api的使用角度，RDD都必须通过它来获得。下面讲一讲它所不为认知的一面，它和其它组件是如何交互的。Driver向Master注册Application过程SparkContex
wbj0110·2015-02-26 15:00

Spark源码系列（四）图解作业生命周期

这一章我们探索了Spark作业的运行过程，但是没把整个过程描绘出来，好，跟着我走吧，letyouknow！我们先回顾一下这个图，DriverProgram是我们写的那个程序，它的核心是SparkContext，回想一下，从api的使用角度，RDD都必须通过它来获得。下面讲一讲它所不为认知的一面，它和其它组件是如何交互的。Driver向Master注册Application过程SparkContex
wbj0110·2015-02-26 15:00

Spark源码系列（四）图解作业生命周期

这一章我们探索了Spark作业的运行过程，但是没把整个过程描绘出来，好，跟着我走吧，letyouknow！我们先回顾一下这个图，DriverProgram是我们写的那个程序，它的核心是SparkContext，回想一下，从api的使用角度，RDD都必须通过它来获得。下面讲一讲它所不为认知的一面，它和其它组件是如何交互的。Driver向Master注册Application过程SparkContex
wbj0110·2015-02-26 15:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他