spark源码

spark源码action系列-开头部分

Spark任务的具体的启动通过rdd中的action来执行SparkContext中的runJob来对任务进行启动,一个action的动作就会生成一个job.如果rdd中没有现成可用的action来执行业务想要的操作时,可以直接使用这个runJob来进行自定义操作.SparkContext中的runJob的定义:def runJob[T, U: ClassTag](    rdd: RDD[T],
u014393917·2016-01-29 13:00

spark源码走读（2）

sc=SparkContext(master,appName)主要是在SparkContext类中，会按照传递的参数；初始化SparkConf对象valarr=Array(1,2,3,4,5)valarr1=sc.parallelize(arr)进入SparkContext的parallelize方法：defparallelize[T:ClassTag](seq:Seq[T],numSlices:
rongyongfeikai2·2016-01-22 12:00

spark源码走读（1）

/usr/local/jdk1.7/bin/java-cp/usr/local/spark/lib/postgresql-9.4-1201.jdbc41.jar:/usr/local/spark/sbin/../conf/:/usr/local/spark/lib/spark-assembly-1.5.2-hadoop2.6.0.jar:/usr/local/spark/lib/datanucle
rongyongfeikai2·2016-01-20 13:00

spark源码解析之scala基本语法

 1.scala初识spark由scala编写，要解析scala，首先要对scala有基本的了解。1.1classvsobjectAclassisablueprintforobjects.Onceyoudefineaclass,youcancreateobjectsfromtheclassblueprintwiththekeyword new. importjava.io._ classPo
一天不进步，就是退步·2016-01-19 14:00

intellij idea直接编译spark源码及问题解决

IntelijIDEA编译spark源码过程下在spark源码包，解压intellij安装scalaplugin使用intellijiedaopenproject功能打开源码文件夹此后，idea会自动下载所有的依赖包
tanglizhe1105·2016-01-16 22:56

intellij idea直接编译spark源码及问题解决

IntelijIDEA编译spark源码过程下在spark源码包，解压intellij安装scalaplugin使用intellijiedaopenproject功能打开源码文件夹此后，idea会自动下载所有的依赖包
tanglizhe1105·2016-01-16 22:00

spark源码解析之基本概念

从两方面来阐述spark的组件，一个是宏观上，一个是微观上。1.spark组件要分析spark的源码，首先要了解spark是如何工作的。spark的组件：了解其工作过程先要了解基本概念官方罗列了一些概念：TermMeaningApplicationUserprogrambuiltonSpark.Consistsofa driverprogram and executors onthecluster
一天不进步，就是退步·2016-01-16 17:00

《深入理解SPARK：核心思想与源码分析》（第1章）

    自己牺牲了7个月的周末和下班空闲时间，通过研究Spark源码和原理，总结整理的《深入理解Spark：核心思想与源码分析》一书现在已经正式出版上市，目前亚马逊、京东、当当、天猫等网站均有销售，欢迎感兴趣的同学购买
beliefer·2016-01-15 13:00

spark源码梳理(1)-Action提交2

续上篇 Step5-TaskSchedulerImploverridedefsubmitTasks(taskSet:TaskSet){ valtasks=taskSet.tasks logInfo("Addingtaskset"+taskSet.id+"with"+tasks.length+"tasks") this.synchronized{  //创建TaskSetManager  valma
distantlight1·2016-01-14 17:00

《深入理解Spark：核心思想与源码分析》（前言及第1章）

 自己牺牲了7个月的周末和下班空闲时间，通过研究Spark源码和原理，总结整理的《深入理解Spark：核心思想与源码分析》一书现在已经正式出版上市，目前亚马逊、京东、当当、天猫等网站均有销售，欢迎感兴趣的同学购买
泰山不老生·2016-01-12 08:00

《深入理解SPARK：核心思想与源码分析》一书正式出版上市

自己牺牲了7个月的周末和下班空闲时间，通过研究Spark源码和原理，总结整理的《深入理解Spark：核心思想与源码分析》一书现在已经正式出版上市，目前京东、当当、天猫等网站均有销售，欢迎感兴趣的同学购买
泰山不老生·2016-01-11 19:58

《深入理解SPARK：核心思想与源码分析》一书正式出版上市

自己牺牲了7个月的周末和下班空闲时间，通过研究Spark源码和原理，总结整理的《深入理解Spark：核心思想与源码分析》一书现在已经正式出版上市，目前亚马逊、京东、当当、天猫等网站均有销售，欢迎感兴趣的同学购买
beliefer·2016-01-11 19:00

《深入理解Spark：核心思想与源码分析》正式出版上市

自己牺牲了7个月的周末和下班空闲时间，通过研究Spark源码和原理，总结整理的《深入理解Spark：核心思想与源码分析》一书现在已经正式出版上市，目前亚马逊、京东、当当、天猫等网站均有销售，欢迎感兴趣的同学购买
泰山不老生·2016-01-11 18:00

《深入理解Spark：核心思想与源码分析》一书正式出版上市

自己牺牲了7个月的周末和下班空闲时间，通过研究Spark源码和原理，总结整理的《深入理解Spark：核心思想与源码分析》一书现在已经正式出版上市，目前亚马逊、京东、当当、天猫等网站均有销售，欢迎感兴趣的同学购买
泰山不老生·2016-01-11 17:00

Spark源码系列之Spark内核——Shuffle

在Hadoop中有一个阶段——Shuffle，Shuffle存在于Map和Reduce之间。同样在Spark中也存在Shuffle，而且Shuffle影响着Job的性能。尽管Spark尽可能的减少Shuffle，但是操作却需要Shuffle来完成（如，groupByKey、sortByKey、reduceByKey、distinct等）。假设有MapTasks=M，ReduceTasks=R，则S
u010376788·2016-01-07 11:00

Spark 学习推荐博客地址

http://www.cnblogs.com/hseagle/p/3664933.htmlApacheSpark源码走读之1--Spark论文阅读笔记欢迎转载，转载请注明出处，徽沪一郎。
江中炼·2016-01-07 11:00

2016 第四讲 Scala模式匹配、类型系统彻底精通与Spark源码阅读

2016010419:00-21:00课程笔录Scala模式匹配：可以对值，类型，集合进行匹配（1）值匹配//a.data值为Spark,Hadoop或其他时defbigData(data:String){datamatch{case"Spark"=>println("Wow!!!")case"Hadoop"=>println("Ok")case_=>println("Somethingother
chinsun_1·2016-01-05 01:14

2016 第四讲 Scala模式匹配、类型系统彻底精通与Spark源码阅读

2016010419:00-21:00课程笔录Scala模式匹配：可以对值，类型，集合进行匹配（1）值匹配//a.data值为Spark,Hadoop或其他时defbigData(data:String){datamatch{ case"Spark"=>println("Wow!!!") case"Hadoop"=>println("Ok") case_=>println("Somethingot
chinsun_1·2016-01-05 01:00

Spark源码系列之Spark内核——Storage模块

1.Storage模块架构Storage模块分为两部分：通信层：Storage模块的通信层通过Master/Slave模型实现的。Master和Slave之间传输控制信息、状态信息。存储层：Storage模块可以数据存储在Memory或Disk上，可能还会replicate到远程服务器上。2.通信层BlockManager包装了BlockManagerMaster，发送信息包装成BlockMana
u010376788·2016-01-04 16:00

大数据系列第一课：scala基础

内容：1 Scala的重大价值2 Scala基础语法入门实战3 Scala函数入门实战4 Scala中Array、Map、Tuple实战5 综合案例及Spark源码解析一、scala价值Scala可伸缩的语言的英语翻译是
lhui798·2016-01-03 18:00

spark源码梳理(1)-Action提交1

1.概述Action算子是触发Spark计算的入口，属于Spark核心逻辑。本文梳理Action触发、计算、返回的整个数据流 本文涉及代码主体位于org.apache.spark.scheduler/rdd/executor几个模块。核心类：RDD、SparkContext、DAGScheduler、TaskSchedulerImpl、CoarseGrainedSchedulerBackEnd、C
distantlight1·2016-01-03 16:00

spark源码梳理(0)-说明

本系列文章为对Spark主要逻辑源码学习整理。主要参考《Spark技术内幕》一书（简称《内幕》）。《内幕》主要以源码模块为主线进行横向解析。本文则致力于由“事件”触发的纵向逻辑为主线，例如Action算子、Transform算子、集群启动等，这个角度基本Spark运行时的调用栈。各主线直接没有必然的先后联系 如无特别说明，本文基于Spark2.10版本源码，并且仅讨论Standalone部署模式 
distantlight1·2016-01-03 16:00

2016 第2讲 Scala面向对象彻底精通及Spark源码阅读

2016/1/2晚7点准时参加了王家林老师的3000门徒的课程，学习了Scala中的类、Object实战和Scala的抽象类、接口实战等内容。相比前一讲第二讲的内容更深入了，难度更高了，如果初学者的话课后真需要好好消化，包括自己之前看过也有必要把王老师以前的51CTO上的视频再翻出来看看，加以巩固。关于第二讲的作业，读懂SparkContext和RDD至少70%代码的源码。SparkContext
chinsun_1·2016-01-03 14:00

Scala光速入门之Scala的基本语法、Array、Map、Tuple等

光速入门》就长达三个小时，在这三个小时的时间里面，整体上感觉难度不是很大，但由于前期没有准备Scala环境，仅仅听导致效率很低，导致中间大半个小时基本上收获比较低，今天上午我把Scala环境搭建完毕，也把spark
panyuwu·2016-01-02 17:42

Spark源码系列之Spark内核——Task运行

在详细介绍前，还是让我们先看看Task运行的流程，先有个整体的感觉：Executor收到序列化的Task后，先反序列化取出正常的Task，然后运行Task得到执行结果directResult，这个结果要送到Driver那里。但是发送的数据包不宜过大，通过对directResult大小的判断，进行不同的处理。如果directResult比较大，就把directResult存放到本地“Memory+D
u010376788·2016-01-02 14:00

Spark-1.5.2之修改源码后的自定义打包编译

Spark-1.5.2之自定义打包编译，基于当前最新版本的spark源码1.5.2版本。自己编译spark是修改spark源码的必备条件，修改的源码自定义打包生效后才能发布到生产环境中。
kwu_ganymede·2016-01-02 11:00

Spark修炼之道（高级篇）——Spark源码阅读：第十三节 Spark SQL之SQLContext（一)

作者：周志湖1.SQLContext的创建SQLContext是SparkSQL进行结构化数据处理的入口，可以通过它进行DataFrame的创建及SQL的执行，其创建方式如下：//sc为SparkContext valsqlContext=neworg.apache.spark.sql.SQLContext(sc)其对应的源码为：defthis(sparkContext:SparkContext)
lovehuangjiaju·2015-12-30 07:00

Spark修炼之道（高级篇）——Spark源码阅读：第十二节 Spark SQL 处理流程分析

作者：周志湖下面的代码演示了通过CaseClass进行表Schema定义的例子：//scisanexistingSparkContext. valsqlContext=neworg.apache.spark.sql.SQLContext(sc) //thisisusedtoimplicitlyconvertanRDDtoaDataFrame. importsqlContext.implicits.
lovehuangjiaju·2015-12-28 23:00

Spark源码系列之Spark内核——Job提交

在介绍Job提交之前，我们先看下Job提交的过程：看完上图之后，大家应该会有一个比较直观的了解，同时也便于对整个流程的把握。DAGScheduler在RDD触发Action算子时，会调用sc.runJob()，以count算子为例：defcount():Long=sc.runJob(this,Utils.getIteratorSize_).sum在SparkContext的runJob()中，会调
u010376788·2015-12-28 12:00

Spark源码编译和问题的解决

    对源码进行编译虽然有点自虐，但可以帮助自己更好地了解其中的细节，为以后的深入和解决配置问题打下基础，否则遇到问题可能会束手无策。这里介绍Spark的编译过程［来自于：http://www.iteblog.com/archives/1038］，但是开源软件的演进是很快的，Spark的最新版本已经到1.5了，Hadoop的最新版本已经2.6了，需要根据实际情况进行摸索和调整。     目前Sp
openthings·2015-12-17 09:00

《Apache Spark源码剖析》学习笔记之Spark作业提交

1.作业提交以foreach函数开始：foreach-------------------------------------------------------------------------------------------/***AppliesafunctionftoallelementsofthisRDD.*/defforeach(f:T=>Unit):Unit=withScope{
u011263983·2015-12-07 22:00

《apache spark源码剖析》 学习笔记之SparkContext

SparkContext的初始化综述SparkContext是进行Spark应用开发的主要接口，是Spark上层应用与底层应用实现的中转站。SparkContext在初始化过程中，主要涉及以下内容：SparkEnvDAGSchedulerTaskSchedulerSchedulerBackendWebUISparkContext的构造函数中最重要的入参是SparkConf。步骤1：根据初始化入参生
u011263983·2015-12-07 21:00

spark部署安装调试

本节记录spark下载-->编译-->安装-->使用首先从主站下载spark源码包（源码包更利于我们学习spark）http://spark.apache.org/downloads.html注意选择所需要的相对应的
snwz·2015-12-02 11:00

maven编译Spark源码

环境说明：Spark1.5.2，Maven3.3.3或以上版本，Java7或以上版本。一、设置Maven内存使用：您需要通过MAVEN_OPTS配置Maven的内存使用量，官方推荐配置如下：exportMAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M-XX:ReservedCodeCacheSize=512M"您不做如上设置，很可能会出现如下编译错误：[INFO]Com
hyx1990·2015-11-24 14:00

RDD.treeAggregate 的用法

原文链接：http://stackoverflow.com/questions/29860635/how-to-interpret-rdd-treeaggregateSpark源码：GradientDescent
加油小松鼠·2015-11-23 16:34

Windows 下Spark 快速搭建Spark源码阅读环境

   最近开始学习Spark，想搭建一个Spark的源码阅读环境。找了一些资料。如 http://m.blog.csdn.net/blog/zhongwen7710/42401445 和 http://guozhongxin.com/pages/2014/10/15/spark_source_code.html，但是在导入源码后，总会有各种问题。如很多Jar包下载不下来（国内网络。。我下载2天都没
我是彩笔·2015-11-19 22:00

开发Spark1.5.2 Application | 编译Spark源码

作为workaround，把spark根目录下的pom.xml文件中的以下部分注释掉： twttr-repo TwttrRepository http://maven.twttr.com true false 用hadoopversion看看自己hadoop版本build/mvn-Phadoop-2.5-Dhadoop.version=2.5.0-DskipTestscl
guotong1988·2015-11-16 15:00

Chapter10 注 解

Chapter10这节还是挺重要的，在看Spark源码的过程中，发现其源码使用到很多注解的知识，所以这节一定要好好学习。1.什么是注解注解：是那些你插入到代码中以方便工具可以对它们进行处理的标签。
ZCF1002797280·2015-11-13 21:00

存储子系统分析

存储子系统分析 Apache Spark源码走读之6 -- 存储子系统分析   欢迎转载，转载请注明出处，徽沪一郎。
·2015-11-13 17:30

Spark源码分析（一）-Standalone启动过程

原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3858065.html   　　为了更深入的了解spark，现开始对spark源码进行分析，本系列文章以
·2015-11-13 14:09

Spark源码分析（二）-SparkContext创建

 原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3872785.html    　　SparkContext是应用启动时创建的Spark上下文对象，是一个重要的入口类。本文主要分析下在SparkContext类创建过程中进行的一些重要操作： 　　1、创建SparkConf对象 　　　　创建SparkConf对象来管
·2015-11-13 14:08

Spark源码分析环境搭建

 原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3868718.html   　　本文主要分享一下如何构建Spark源码分析环境。
·2015-11-13 14:07

Spark源码编译

原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3822995.html 　　 spark源码编译步骤如下： 　　cd /home/hdpusr/workspace
·2015-11-13 14:03

Spark源码分析（四）-Job提交过程

原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3903478.html　　 　　  本文将以一个简单的WordCount为例来看看Job的提交过程 　　　　　　 　　  由输出的日志可以看出job的提交过程主要经过了SparkContext-》DAGScheduler-》TaskScheduler的处理 　　　　 　&nb
·2015-11-13 13:36

Spark源码分析（三）-TaskScheduler创建

原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3879151.html 　　 　　在SparkContext创建过程中会调用createTaskScheduler函数来启动TaskScheduler任务调度器，本文就详细分析TaskScheduler的工作原理： 　　TaskScheduler会根据部署方式而选择不同的SchedulerBacke
·2015-11-13 13:34

spark hive结合杂记(hive-site.xml)

1.下载spark源码，在spark源码目录下面有个make-distribution.sh文件，修改里面的参数，使编译后能支持hive，修改后执行该文件。（要预先安装好maven才能编译）。
·2015-11-13 11:58

“大数据讲师”、“Hadoop讲师”、“Spark讲师”、“云计算讲师”、“Android讲师”

彻底研究了Spark从0.5.0到0.9.1共13个版本的Spark源码，并已完成2014年5月31日发布的Spark1.0源码研究。 Hadoop源码级专家，曾负责某知名公司的类Hadoop框架开
·2015-11-13 06:54

spark研究之install4j打包spark

 http://ljhmustang.blog.163.com/blog/static/421754472010102621214873/   1、更改spark源码目录\spark
·2015-11-13 03:53

net.sf.fmj.media.cdp.civil.CaptureDevicePlugger addCaptureDevices解决方法

Spark运行时报错，解决办法，将spark源码目录E:\MyeclipseWorkspace\spark\build\lib\dist\windows 下的civil.dll 文件拷贝到C盘jdk的bin
·2015-11-13 03:45

Spark源码分析之-scheduler模块

原文地址： http://jerryshao.me/architecture/2013/04/21/Spark%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90%E4%B9%8B-scheduler%E6%A8%A1%E5%9D%97/     Background Spark在资源管理和调度方式上采用了类似于Hadoop YARN的方式，
·2015-11-12 18:28
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他