spark源码

Hive on Spark源码分析（五）—— RemoteDriver

HiveonSpark源码分析（一）——SparkTaskHiveonSpark源码分析（二）——SparkSession与HiveSparkClientHiveonSpark源码分析（三）——SparkClilent
KevinZwx·2016-08-17 01:42

Hive on Spark源码分析（四）—— SparkClilent与SparkClientImpl（下）

HiveonSpark源码分析（一）——SparkTaskHiveonSpark源码分析（二）——SparkSession与HiveSparkClientHiveonSpark源码分析（三）——SparkClilent
KevinZwx·2016-08-17 01:00

Hive on Spark源码分析（三）—— SparkClilent与SparkClientImpl（上）

HiveonSpark源码分析（一）——SparkTaskHiveonSpark源码分析（二）——SparkSession与HiveSparkClientHiveonSpark源码分析（三）——SparkClilent
KevinZwx·2016-08-17 00:26

Hive on Spark源码分析（二）—— SparkSession与HiveSparkClient

HiveonSpark源码分析（一）——SparkTaskHiveonSpark源码分析（二）——SparkSession与HiveSparkClientHiveonSpark源码分析（三）——SparkClilent
KevinZwx·2016-08-17 00:35

Hive on Spark源码分析（一）—— SparkTask

HiveonSpark源码分析（一）——SparkTaskHiveonSpark源码分析（二）——SparkSession与HiveSparkClientHiveonSpark源码分析（三）——SparkClilent
KevinZwx·2016-08-17 00:17

Spark内存管理模型

我们在《Spark源码分析之七：Task运行（一）》一文中曾经提到过，在Task被传递到Executor上去执行时，在为其分配的TaskRunner线程的run()方法内
Anonymous_cx·2016-08-15 21:55

大数据Spark “蘑菇云”行动前传第22课：Scala集合和高级函数操作实战及Spark源码鉴赏.

大数据Spark“蘑菇云”行动前传第22课：Scala集合和高级函数操作实战及Spark源码鉴赏.1及Spark源码集合和高级函数鉴赏.2Scala集合和高级函数操作实战MicrosoftWindows
段智华·2016-08-12 21:13

第21课：scala文件和xml操作实战及spark源码鉴赏

第21课：scala文件和xml操作实战及spark源码鉴赏1spark源码的文件和xml使用的源码鉴赏2scala文件和xml操作实战/**SerializeanobjectusingJavaserialization
段智华·2016-08-11 21:32

大数据Spark “蘑菇云”行动前传第20课：Scala提取器、注解深度实战详解及Spark源码鉴赏大数据Spark “蘑菇云”行动前传第20课：Scala提取器、注解深度实战详解及Spark源码鉴

大数据Spark“蘑菇云”行动前传第20课：Scala提取器、注解深度实战详解及Spark源码鉴赏大数据Spark“蘑菇云”行动前传第20课：Scala提取器、注解深度实战详解及Spark源码鉴赏1Spark
段智华·2016-08-10 21:32

大数据Spark “蘑菇云”行动前传第13课：Scala模式匹配实战和Spark源码鉴赏(学习笔记)

本課課程：Spark源码中的Scala模式匹配编程Scala中模式匹配编程操作实战Spark源码中的Scala模式匹配编程每個case里面都是一個函数，如果條件符合了就運行=>右邊的代碼(函数體)這里也是模式匹配的例子這個地方匹配的是變量
jcchoiling·2016-08-07 11:37

大数据Spark “蘑菇云”行动前传第16课：Scala implicits编程彻底实战及Spark源码鉴赏

大数据Spark“蘑菇云”行动前传第16课：Scalaimplicits编程彻底实战及Spark源码鉴赏1Spark源码Scalaimplicits的使用2Scalaimplicits实战3Scalaimplicits
段智华·2016-08-05 20:24

第15课：scala类型参数编程实战及spark源码鉴赏

第15课：scala类型参数编程实战及spark源码鉴赏1spark源码中的scala类型系统2scala类型系统编程操作实战packagecom.dt.spark.scala.bascisclassEngineerclassExpertextendsEngineerclassMeeting
段智华·2016-08-03 21:07

第10课：Scala继承彻底实战和Spark源码鉴赏

本节课详细讲解视频地址：大数据Spark"蘑菇云"行动Scala继承详解搜狐视频地址：http://my.tv.sohu.com/us/48296654/84698083.shtml1、父类一般都是抽象类，但是也有些情况不是，这样的话继承的子类不需要修改任何代码就可以运行；2、isInstanceOf、asInstanceOf解析isInstanceOf[T]判断对象是否为T类型的实例。isIns
DTSpark_2017·2016-07-31 11:24

第11课：scala面向接口编程彻底实战和spark源码鉴赏

第11课：scala面向接口编程彻底实战和spark源码鉴赏1spark源码scala类的接口使用鉴赏2scala中面向接口代码操作实战Scala的类的实例对象也可以混入接口，以扩展当前对象的实例的功能
段智华·2016-07-30 10:36

大数据Spark “蘑菇云”行动前传第10课：Scala继承彻底实战和Spark源码鉴赏.

大数据Spark“蘑菇云”行动前传第10课：Scala继承彻底实战和Spark源码鉴赏.1spark源码中Scala类的继承鉴赏2scala中继承代码操作实战问题思考：类继承会不会类的伴生对象？
段智华·2016-07-28 22:10

大数据Spark “蘑菇云”行动前传第9课：Scala类和对象彻底实战和Spark源码鉴赏

大数据Spark“蘑菇云”行动前传第9课：Scala类和对象彻底实战和Spark源码鉴赏1spark源码中scala类和对象鉴赏2scala中类和对象代码操作实战激动人心的消息：spark2.0昨晚7月
段智华·2016-07-27 20:15

大数据spark蘑菇云行动前传第5课：零基础彻底实战Scala函数式编程及Spark源码解析

大数据spark蘑菇云行动前传第5课：零基础彻底实战Scala函数式编程及Spark源码解析1零基础彻底实战Scala函数式编程入门2Spark源码中的scala函数式编程鉴赏packagecom.dt.spark.scala.bascisobjectHelloFunctionPograming
段智华·2016-07-22 21:10

Spark源码学习（10）——Spark Streaming

本文要解决的问题：从源码级别对SparkStreaming进行简单学习。SummarizeSparkStreaming实现了对实时流数据的高吞吐量、低容错的数据处理API。它的数据来源有很多种：Kafka、Flume、Twitter、ZeroMQ、TCPScoket等。架构图如下：Streaming接收实时流输入的数据，将其按批划分，然后交给SparkEnigne分批处理。如下图所示：Stream
sbq63683210·2016-07-08 22:00

SparkML之推荐算法（一）ALS

alternatingleastsquares ):交替最小二乘法---------------------------------------------------------------------原理应用Matlab主成分分析应用alsSpark
legotime·2016-07-06 07:00

SparkML之特征提取（一）主成分分析(PCA)

----------------------------------目录--------------------------------------------------------理论和数据见附录Spark
legotime·2016-07-06 07:00

SparkML之聚类(一)Kmeans聚类

------------------------------目录--------------------------------------------------Kmeans理论Matlab实现Spark
legotime·2016-07-06 07:20

SparkML之聚类(一)Kmeans聚类

------------------------------目录--------------------------------------------------Kmeans理论Matlab实现Spark
legotime·2016-07-06 07:00

SparkML之回归(一)线性回归

---------------------目录-----------------------------------------------------------------------线性回归理论spark
legotime·2016-07-06 07:43

SparkML之回归(一)线性回归

---------------------目录-----------------------------------------------------------------------线性回归理论spark
legotime·2016-07-06 07:00

Spark源码学习（9）——Spark On Yarn

本文要解决的问题：了解Spark在Yarn平台上的运行过程。修改配置文件首先需要修改配置文件spark-env.sh。在这个文件中需要添加两个属性：ExportHADOOP_HOME=/../hadoop..ExportHADOOP_CONF_DIR=/../hadoop/etc/hadoop这里，一个是要hadoop的home目录。一个是配置文件目录。还需要配置一个就是spark-default
sbq63683210·2016-06-20 13:00

Spark源码学习（8）——NetWork

本文要解决的问题：通过对Spark源码的分析，对它Network实现模块有更加深入的了解。网络管理，由于分布式集群，那么无论master还是worker都离不开网络通讯。
sbq63683210·2016-06-18 15:00

Spark源码学习（7）——Broadcast

本文要解决的问题：从源码角度学习一下Spark中Broadcast板块的工作过程和实现细节。Broadcast变量是Spark所支持的两种共享变量。主要共享分布式计算过程中各个task都会用到的只读变量。广播变量允许程序员在每台机器上保持一个只读变量的缓存，而不是发送它的一个副本任务。他们可以用于：给一个大量输入数据集的副本以有效的拷贝到每个节点。Spark也尝试使用高效广播算法来降低通信成本。以
sbq63683210·2016-06-18 14:00

Spark源码学习（6）——Shuffle

本文要解决的问题：通过Spark源码学习，进一步深入了解Shuffle过程。Shuffle介绍在Map和Reduce之间的过程就是Shuffle，Shuffle的性能直接影响整个Spark的性能。
sbq63683210·2016-06-17 16:00

Spark源码分析--资源调度机制

  [java] viewplain copy  /*  *schedule()解决了spark资源调度的问题 */  rivate def schedule() {   //首先判断，master状态不是ALIVE的话，直接返回   //也就是说，stanby master是不会进行application等资源调度的   if (state != RecoveryState.ALIVE) { r
wbj0110·2016-06-15 11:00

Spark源码学习（5）——Storage

本文要解决的问题：主要研究Spark的存储模块，通过阅读源码，对分布式存储有更深的理解。BlockManagerStoragef模块主要分为两层：1）：负责向BlockManagerMaster上报block信息，master与slave之间的信息传递通过m-s的模式传递2）：数据层负责存储和读取信息，主要在disk、memory、tachyon上通常RDD的数据存放在分区中，而cache的数据一
sbq63683210·2016-06-14 13:00

Spark源码学习（4）——Scheduler

本文要解决的问题：从scheduler各个类的具体方法阅读源码，进一步了解Spark的scheduler的工作原理和过程。Scheduler的基本过程用户提交的Job到DAGScheduler后，会封装成ActiveJob，同时启动JobWaiter监听作业的完成情况。同时依据job中RDD的dependency和dependency属性(窄依赖NarrowDependency，宽依赖Shuffl
sbq63683210·2016-06-13 22:00

Spark源码学习（3）——Job Runtime

本文要解决的问题：本文主要说明作业提交的的具体运行环境，通过学习，对作业的运行有更加深入的理解。基本流程这里从SparkContext中的runJob方法开始跟踪它的源码过程。下面的图简要的描述了Job运行的过程runJob的源码如下：在org.apache.spark.SparkContext.scala目录下，找到runJob方法，/** *Runafunctiononagivensetofp
sbq63683210·2016-06-12 17:00

Spark源码学习（2）——Spark Submit

本文要解决的问题：通过查看Spark作业提交的源码，对其作业提交过程有更深的理解。作业提交的基本流程首先需要找到Sparksubmit过程的源码。在工程路径的spark.deploy.SparkSubmit下，submit是一个单独的进程，首先查看它的main方法：defmain(args:Array[String]):Unit={ valappArgs=newSparkSubmitArgumen
sbq63683210·2016-06-11 21:00

Spark源码学习（1）——RDD分析

Spark源码学习（1）——RDD分析本文要解决的问题:从更深层次理解Spark的RDD学习Spark的时候，我们可以从Spark的核心内容看起，即RDD。
sbq63683210·2016-06-09 23:00

Spark源码学习——在linux环境下用IDEA看Spark源码

Spark源码学习——在linux环境下用IDEA看Spark源码本篇文章主要解决的问题1.Spark在Linux下实验环境的搭建一、Spark源码阅读环境的准备本文介绍的是Centos下的各项配置方法下面列举搭建此环境需要的各个组件
sbq63683210·2016-06-05 21:00

Spark环境部署

index.htmlhttps://www.python.org/downloads/release/python-2710/1.建立安装文件目录mkdir/data/softcd/data/soft2.下载spark
Jogging·2016-06-02 10:07

《深入理解SPARK：核心思想与源码分析》（前言及第1章）

 自己牺牲了7个月的周末和下班空闲时间，通过研究Spark源码和原理，总结整理的《深入理解Spark：核心思想与源码分析》一书现在已经正式出版上市，目前亚马逊、京东、当当、天猫等网站均有销售，欢迎感兴趣的同学购买
sinat_29581293·2016-05-19 12:00

Spark-Spark Streaming例子整理(三)

一、解密SparkStreaming另类在线实验二、瞬间理解SparkStreaming本质Spark源码定制，自己动手改进Spark源码，通常在电信、金融、教育、医疗、互联网等领域都有自己不同的业务，
youdianjinjin·2016-05-19 11:00

Spark Worker原理和源码剖析解密

1.Spark源码剖析2.Worker启动Driver源码3.Worker启动Executor源码4.Worker与Master交互一：worker启动driver内幕和流程机制1，Cluster中的Driver
sundujing·2016-05-15 19:00

详解Scala的Option的模式匹配

在阅读Spark源码时出现很多Option[T]的写法，实际上这是Option[T]其实代表的是一个数据Scala试图通过摆脱null来解决这个问题，并提供自己的类型用来表示一个值是可选的（有值或无值）
kwu_ganymede·2016-05-12 15:00

基于maven创建spark工程、调试并运行

同时也是spark源码语言，官方API文档对scala的支持是最好的。如果能选择scala语言作为spark程序的开发，是最好的。java、pytho
qq_23617681·2016-05-12 12:00

[置顶] Spark定制版1：通过案例对SparkStreaming透彻理解三板斧之一

本节课通过二个部分阐述SparkStreaming的理解：一、解密SparkStreaming另类在线实验二、瞬间理解SparkStreaming本质Spark源码定制，自己动手改进Spark源码，通常在电信
qq_21234493·2016-05-09 20:00

Spark源码定制第一课：通过案例对SparkStreaming透彻理解三板斧之一

第一课：通过案例对SparkStreaming透彻理解三板斧之一：解密SparkStreaming另类实验及SparkStreaming本质解析 本期导读：1Spark源码定制选择从SparkStreaming
zhumr·2016-05-08 16:00

Spark源码版本定制发行班 第四课Spark Streaming事务处理彻底掌握

本期内容exactlyonce输入不重复输出不重复exactlyonce：有且仅被执行一次。（不多，不少，一次刚好）首先和大家聊下概念：事务是恢复和并发控制的基本单位。事务应该具有4个属性：原子性、一致性、隔离性、持久性。这四个属性通常称为ACID特性。原子性（atomicity）。一个事务是一个不可分割的工作单位，事务中包括的诸操作要么都做，要么都不做。一致性（consistency）。事务必须
柯里昂·2016-05-08 16:00

第1课：通过案例对SparkStreaming 透彻理解三板斧之一

本期内容：SparkStreaming另类在线实验瞬间理解SparkStreaming本质  一、为何从SparkStreaming切入Spark源码定制？
chinsun_1·2016-05-07 10:00

spark源码阅读笔记RDD（七） RDD的创建、读取和保存

    Spark支持很多输入和输出源，同时还支持内建RDD。Spark本身是基于Hadoop的生态圈，它可以通过HadoopMapReduce所使用的InpoutFormat和OutputFormat接口访问数据。而且大部分的文件格式和存储系统（HDFS,Hbase，S3等）都支持这种接口。Spark常见的数据源如下：（1）文件格式和文件系统，也就是我们经常用的TXT，JSON,CSV等這些文件
legotime·2016-05-06 10:00

Scala模式匹配、类型系统与Spark源码阅读

javaswitch-case（对值）scala不仅对值，而且可以对类型，集合（map，list元数据匹配），object，classscala大量使用模式匹配（matchcase）Scala的模式匹配，与Java的switchcase的区别：1.不仅可以匹配值，可以匹配类型2.可以匹配数组的集合相同数组、长度相同的数组、以某个元素开头的数组对于长度相同的数组，会进行自动变量赋值3.匹配class
sundujing·2016-05-05 15:00

spark源码阅读笔记RDD（六） RDD的依赖关系

RDD的依赖关系有那些？RDD的依赖关系有两种：窄依赖（narrowdependency）和宽依赖(widedependency).可以用下图进行说明：窄依赖：一个父RDD的partition最多被一个子RDD的一个partition使用宽依赖：多个子RDD的partition会依赖同一个父RDD的partition窄依赖和宽依赖在源码中是怎么回事？所有依赖都是继承packageorg.apach
legotime·2016-05-04 17:00

Scala面向对象彻底精通及Spark源码阅读

1.Scala中的类、object实战讲解java8前：类或对象中新增加一个方法，方法中本身调用其他方法，写匿名内部类写个方法，回调，java8lamada解决了此问题scala（无需考虑该问题）方法里有一个方法，不用写匿名内部类，new实例scala适合大型规模项目方法method定义两个函数，sayName，不接受返回值，返回值是Unit类型getName,定义为函数，并把它赋值为name，（
sundujing·2016-05-03 18:00

spark源码阅读笔记RDD（五） RDD中的checkpoint原理

----------------------------目录----------------------------为何需要checkpoint？checkPoint作用源码分析------------------------------------------------------------为何需要checkpoint？大家知道checkpoint和persist都是把数据“保存起来”，pe
legotime·2016-05-01 17:00
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他