E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark源码
spark源码
一站式编译
spark源码
一站式编译前段时间,想熟悉下spark的源码,遇到了一些问题,在此记录,期待可以帮到更多的小伙伴!后续会陆续将阅读的
spark源码
笔记公布出来。。
引领时尚S
·
2020-08-01 07:43
spark
Spark存储体系底层架构剖析-Spark商业环境实战
本套系列博客从真实商业环境抽取案例进行总结和分享,并给出
Spark源码
解读及商业实战指导,请持续关注本套博客。版权声明:本套
Spark源码
解读及商业实战归作者(秦凯新)所有,禁止转载,欢迎学习。
weixin_34015566
·
2020-08-01 04:07
spark 源码分析之十八 -- Spark存储体系剖析
NettyRpcEnv是Spark的默认的RpcEnv实现,它提供了个Spark集群各个节点的底层通信环境,可以参照文章
spark源码
分析之十二--SparkRPC剖析之SparkRPC总结做深入了解。
weixin_30448603
·
2020-08-01 03:14
Spark Core源码精读计划7 | Spark执行环境的初始化
推荐阅读《
Spark源码
精度计划|SparkConf》《SparkCore源码精读计划|SparkContext组件初始化》《SparkCore源码精读计划3|SparkContext辅助属性及后初始化
大数据技术与架构
·
2020-08-01 02:42
Spark存储机制源码剖析
一、Shuffle结果的写入和读取通过之前的文章
Spark源码
解读之Shuffle原理剖析与源码分析我们知道,一个Shuffle操作被DAGScheduler划分为两个stage,第一个stage是ShuffleMapTask
不清不慎
·
2020-07-31 22:06
Spark
Spark源码剖析与调优
scala项目开发知识储备
来说说为什么用scala我看
spark源码
,由scala开发,非常的优雅、简洁,是一个伟大而令人兴奋的语言。一定程度上替代java开发,仅仅是一定程度上,任然有许多场景非java不可。
大壮vip
·
2020-07-31 22:22
大数据
scala
spark源码
阅读笔记RDD(六) RDD的依赖关系
RDD的依赖关系有那些?RDD的依赖关系有两种:窄依赖(narrowdependency)和宽依赖(widedependency).可以用下图进行说明:窄依赖:一个父RDD的partition最多被一个子RDD的一个partition使用宽依赖:多个子RDD的partition会依赖同一个父RDD的partition窄依赖和宽依赖在源码中是怎么回事?所有依赖都是继承packageorg.apach
legotime
·
2020-07-31 19:05
spark源码阅读笔记
Spark BlockManager源码分析
SparkBlockManager源码分析更多资源分享
SPARK源码
分析技术分享(视频汇总套装视频):https://www.bilibili.com/video/av37442139/github:https
chongqueluo2709
·
2020-07-31 16:28
(四)
Spark源码
理解之BlockManager---part3
2.4BlockStatus存储了Block块的存储级别(是内存存储还是磁盘存储等),内存,磁盘以及tachyon的大小BlockManagerMasterActor有很多比较重要的方法,正是由于这些方法才使得主节点可以管理块(分区)privatedefremoveRdd(rddId:Int):Future[Seq[Int]]={//返回的是一个Seq[Int],是因为RDD存在依赖关系,返回的就
竹落
·
2020-07-31 16:32
Spark学习
Spark源码
--RuleExecutor
SparkSQLcatalystRuleExecutor的作用是分批次(batch)执行一系列的优化规则直到稳定点(fixpoint)或最大迭代次数,如图所示:实现如下:源码如下:/**优化规则执行器*/abstractclassRuleExecutor[TreeType//用来对比执行规则前后,初始的plan有无变化valbatchStartPlan=curPlanvariteration=1v
d4shman
·
2020-07-30 05:48
spark
Spark源码
--逻辑计划优化之表达式简化
一、常量合并(ConstantFolding)二、简化过滤器(SimlifyFilters)三、简化Cast(SimplifyCasts)四、简化大小写转化表达式(SimplifyCaseConversionExpressions)五、优化In语句(OptimizeIn)六、简化Like语句(SimplifyLike)七、替换Null表达式(NullPropagation)八、简化布尔表达式(Bo
d4shman
·
2020-07-30 05:16
spark
Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile问题解决
看一个转载的帖子,非常有帮助链接这里:转载原文解决方法1转载:http://www.cnblogs.com/war3blog/p/7864804.html在编译
spark源码
的时候老师报类似的错误然后在
deepthinkers
·
2020-07-29 19:58
日常
Spark源码
之-CDH6下Spark2.4写Hive分区表异常
文章目录一、组件版本二、问题描述三、问题分析四、解决办法一、组件版本组件版本Hadoop3.0.0+cdh6.1.1Hive2.1.1+cdh6.1.1spark2.4.0+cdh6.1.1二、问题描述在Spark向Hive分区表写入数据时,抛出异常如下:org.apache.spark.SparkException:Requestedpartitioningdoesnotmatchthetest
丶kino丶
·
2020-07-29 15:35
#
Spark
Spark源码
的编译过程详细解读(各版本)(博主推荐)
Spark源码
编译的3大方式1、Maven编译2、SBT编译(暂时没)3、打包编译make-distribution.sh前言Spark可以通过SBT和Maven两种方式进行编
奋斗吧_攻城狮
·
2020-07-29 02:48
Spark
使用IDEA Debug
Spark源码
现在越来越多的人加入到了学习
Spark源码
的队伍中来。但是如果只是单纯阅读代码,不动手亲自去跟踪和调试,往往无法很连贯地学习和理解,经常会出现无法看清代码的上下文跳转,无法理解代码含义等问题。
wisgood
·
2020-07-28 23:58
spark
《深入理解Spark:核心思想与源码分析》——导读
Spark:核心思想与源码分析》一书中的目录,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看目录前言准备篇第1章环境准备1.1运行环境准备1.2Spark初体验1.3阅读环境准备1.4
Spark
weixin_33948416
·
2020-07-28 18:42
Spark源码
编译和问题的解决
2019独角兽企业重金招聘Python工程师标准>>>对源码进行编译虽然有点自虐,但可以帮助自己更好地了解其中的细节,为以后的深入和解决配置问题打下基础,否则遇到问题可能会束手无策。这里介绍Spark的编译过程[来自于:http://www.iteblog.com/archives/1038],但是开源软件的演进是很快的,Spark的最新版本已经到1.5了,Hadoop的最新版本已经2.6了,需要
weixin_33797791
·
2020-07-28 17:52
使用Intellij idea调试
Spark源码
前提本文假设开发环境是在Linux平台,并且已经安装下列软件,我个人使用的是archlinux。jdkscalasbtintellij-idea-community-edition安装scala插件为idea安装scala插件,具体步骤如下选择File->Setting2步骤2:选择右侧的InstallJetbrainsPlugin,在弹出窗口的左侧输入scala,然后点击安装,如下图所示3.sc
快乐与忧郁的码农
·
2020-07-28 15:04
spark
Maven编译打包spark(2.1.0)源码及出现问题的解决方案(win7+Intellij IDEA)
IntellijIDEA)1、相关安装请参照:http://blog.csdn.net/u011464774/article/details/76697183不要在intellij里配置spark这一步,这里是对
spark
Jiesonshan
·
2020-07-28 13:28
spark
Hadoop
SPARK 源码分析技术分享(带视频)
SPARK源码
分析技术分享(带视频)【本站点正在持续更新中......】SPARK1.6.0-cdh5.15.0Hadoop2.6.0-cdh5.15.0spark-scala-maven微信(技术交流
thinktotings
·
2020-07-28 12:20
Spark
maven 对spark 源码进行编译(基于Centos 7 )
maven对
spark源码
进行编译(基于Centos7)1、写在前面的话有些小伙伴可能会问:Spark官网不是已经提供了Spark针对不同版本的安装包了吗,我们为什么还需要对
Spark源码
进行编译呢?
野狼e族
·
2020-07-28 05:26
Spark
【大数据----Spark】
spark源码
编译
本文采用cdh版本spark-1.6.0-cdh5.12.01.源码包下载2.进入根目录编译,编译的方式有2种mavenmvncleanpackage\-DskipTests-Phadoop-2.6\-Dhadoop.version=2.6.0-cdh5.12.0-Pyarn\-Phive-1.1.0-Phive-thriftservermake-distribution./make-distri
Sunny3096
·
2020-07-28 04:34
大数据-Spark
spark源码
系列(1) SparkContext的初始化
我们先整体画一张spark程序执行的全流程1-2.我们通过spark-submit提交application时候,程序会通过反射的方式创建出一个DriverActor进程出来,Driver进程会创建一个SparkContext,SparkContext会初始化最重要的两个组件,DAGScheduler和TaskScheduler。3-7.TaskScheduler会通知Master,Master会
小宝宝的迷你宝
·
2020-07-28 03:56
大数据
框架
Spark-2.2.0源码编译报错
环境:系统:Linux(CentOS7)Spark:spark-2.2.0.tgz(Apache官网下载)Scala:scala-2.11.8.tgzHadoop:hadoop-2.9.0编译方式:使用
Spark
凉茶X
·
2020-07-28 00:12
Spark
Spark源码
阅读-KafkaRDD
官网翻译:基于batch的用于消费kafka消息的接口classKafkaRDD[K:ClassTag,V:ClassTag,UR)extendsRDD[R](sc,Nil)withLoggingwithHasOffsetRanges{overridedefgetPartitions:Array[Partition]={offsetRanges.zipWithIndex.map{case(o,i)
pcqlegend
·
2020-07-27 18:11
centos6.5 中 git+maven 编译 spark过程
1.首先是从github中clone
spark源码
报错如下:使用gitclone源码报错:gitclone[root@nebo1opensource]#gitclonehttp://githu
nebo
·
2020-07-27 16:51
maven
bigdata
Java与Scala互相调用时容器的转换(List、Map为例)
最近新入职公司,所在项目组使用hadoop较多,基本都在使用spark做计算,为了更好的操作spark最近也在学习scala这门语言(原因:
spark源码
是scala)。
subbao
·
2020-07-27 13:29
java与scala相互调用
好玩的大数据之49:
Spark源码
编译
一、简介利用Spark提供的源码生成自定义的Spark二、下载1.从spark网站下载地址:http://spark.apache.org/downloads.htmlhttps://archive.apache.org/dist/spark/下载得到:spark-3.0.0.tgz选版本选版本选文件2.从github下https://github.com/apache/sparksparkdow
张文斌_2020
·
2020-07-19 14:45
阿里巴巴资深架构师熬几个通宵肛出来的Spark+Hadoop+中台实战pdf
SparkSpark生态系统BDASSpark架构与运行逻辑弹性分布式数据集2、Spark开发与环境配置Spark应用开发环境2置使用Intellii开发Spark远程调试Spark程序Spark编译配置
Spark
Java架构俱乐部
·
2020-07-16 20:59
架构
大数据
java
spark
hadoop
中台
spark sql源码浅析
spark源码
简单分析sparksql作为spark1.0所支持的lib库中唯一新增加的lib库,可见其重要地位。
yixl
·
2020-07-16 05:35
spark学习笔记
Spark源码
调试
在学习
Spark源码
或者开发过程中,往往需要远程调试Spark。下面将介绍如何在IDEA下对
Spark源码
进行远程调试。
FelixClinton
·
2020-07-16 05:40
Spark源码
spark源码
分析:(一)spark-shell启动脚本时候过程
当我们在命令行中输入spark-shell的时候,会自动转为sparkshell界面。这个界面中我们可以完成spark的操作。那么,这个过程是怎么进行的呢?当我们在命令行中输入spark-shell的时候,调用的是spark/bin/spark-shell脚本。以下是spark-shell脚本中的部分代码:functionmain(){if$cygwin;thenstty-icanonmin1-e
empcl
·
2020-07-16 05:57
Spark源码
分析:DAGScheduler
Spark源码
分析:DAGScheduler概述在RDD一文中提到:定义RDD之后,程序员就可以在动作(注:即action操作)中使用RDD了。
raincoffee
·
2020-07-15 22:26
Spark源码
剖析——Action操作、runJob流程
文章目录
Spark源码
剖析——Action操作、runJob流程当前环境与版本前言供分析的代码collect源码分析DAGScheduler中的处理TaskScheduler中的处理CoarseGrainedSchedulerBackend
蒋含竹
·
2020-07-15 20:56
BigData
#
Spark
Scala
【编译安装】Spark2.3.3-CDH
downloads.htmlwgethttps://archive.apache.org/dist/spark/spark-2.3.3/spark-2.3.3.tgzApacheSpark2.3.3编译
Spark
木亦汐
·
2020-07-15 20:54
【面试必问】
spark源码
剖析之Standalone worker启动流程
spark源码
剖析相关:sparkStandalonemaster启动流程https://blog.csdn.net/Mr_kidBK/article/details/105131444Standaloneworker
戴数据
·
2020-07-15 18:18
scala
spark
大数据
Intellij IDEA搭建
Spark源码
阅读环境
环境:win7JDK1.7Maven3.31.下载安装Scala环境,按默认设置即可,配置环境变量,在命令行下输入Scala,会出现交互界面。2.下载安装git,配置环境变量,在命令行下输入git,会出现参数选项。注意:这里为什么要下载git,因为sbt生成eclipse项目的时候会用到git去下载依赖包。3.从Github导入Spark工程打开IntelliJIDEA后,在菜单栏中选择VCS→C
macalzheng
·
2020-07-15 13:38
spark
使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码(博主强烈推荐)
前言其实啊,无论你是初学者还是具备了有一定spark编程经验,都需要对
spark源码
足够重视起来。本人,肺腑之己见,想要成为大数据的大牛和顶尖专家,多结合源码和操练编程。
weixin_34240520
·
2020-07-15 05:49
sbt结合IDEA对Spark进行断点调试开发
原创文章,谢绝转载笔者出于工作及学习的目的,经常与
Spark源码
打交道,也难免对
Spark源码
做修改及测试。本人一向讲究借助工具提升效率,开发Spark过程中也在摸索如何更加顺畅的对源码进行调试。
weixin_34092455
·
2020-07-15 05:36
《深入理解SPARK:核心思想与源码分析》(第1章)
自己牺牲了7个月的周末和下班空闲时间,通过研究
Spark源码
和原理,总结整理的《深入理解Spark:核心思想与源码分析》一书现在已经正式出版上市,目前亚马逊、京东、当当、天猫等网站均有销售,欢迎感兴趣的同学购买
weixin_33712881
·
2020-07-15 04:13
IDEA阅读
Spark源码
将spark编译成idea-sbt工程tar-zxvfspark-1.1.0.tgzcdspark-1.1.0sbt/sbtgen-idea等待……成功后就能以SBT工程的形式导入idea进行阅读运行。如果提示栏出现如下的提示内容"iswaitingfor.sbt.ivy.lock",说明该lock文件无法创建,需要手工删除,具体操作如下:cd$HOME/.ivy2rm*.lock手工删除掉loc
weixin_30892889
·
2020-07-15 03:42
《深入理解Spark:核心思想与源码分析》一书正式出版上市
自己牺牲了7个月的周末和下班空闲时间,通过研究
Spark源码
和原理,总结整理的《深入理解Spark:核心思想与源码分析》一书现在已经正式出版上市,目前亚马逊、京东、当当、天猫等网站均有销售,欢迎感兴趣的同学购买
weixin_30338461
·
2020-07-15 02:16
Spark源码
学习——用IntelliJ IDEA看
spark源码
windows+IntellijIDEA打造
Spark源码
阅读环境1.
Spark源码
阅读环境的准备
Spark源码
是有Scala语言写成的,目前,IDEA对Scala的支持要比eclipse要好,大多数人会选在在
sbq63683210
·
2020-07-14 22:53
Spark
1.2
spark源码
阅读笔记 RDD PairRDDFunctions
上一篇介绍RDD的文章里,大概介绍了一些抽象类RDD,其中包括了一些RDD共通的方法,但是仔细查看发现,还有很多我们常用方法并没有在其中,比如reduceByKey,combineByKey等等,甚至找了几个RDD的实现类,发现都没有找到对应的方法。直到发现这个PairRDDFunctions,原来这几个方法都在这个PairRDDFunctions类中,那么这个类和RDD是如何关联,如何使用的呢?
qq_33518042
·
2020-07-14 18:59
Spark分布式环境搭建
Spark从菜鸟到入门Spark初体验——wordcount词频统计Spark基础知识学习Spark单机版环境搭建
Spark源码
学习Spark分布式环境搭建Spark基准测试平台BigDataBench
五环旗
·
2020-07-14 17:17
Spark
Spark基准测试平台BigDataBench使用教程
【Spark从菜鸟到入门】Spark初体验——wordcount词频统计Spark基础知识学习Spark单机版环境搭建
Spark源码
学习Spark分布式环境搭建Spark基准测试平台BigDataBench
五环旗
·
2020-07-14 17:45
Spark
使用Intellij构建
spark源码
阅读环境
http://spark.apache.org/downloads.html2.下载编译后的
spark源码
,这里下载根据Hadoop2.3版本编译的。
li9213
·
2020-07-14 14:26
spark-源码阅读相关
Spark源码
编译和IDEA导入源码
http://spark.apache.org/docs/latest/building-spark.htmlspark的github源码下载地址:https://github.com/apache/
spark
jim8973
·
2020-07-14 12:20
spark
Windows + IDEA + SBT 打造
Spark源码
阅读环境
转一篇在Windows中的idea下,利用sbt制作
spark源码
阅读环境的文章。个人觉得想要从事spark的工作,阅读
spark源码
非常重要。
caoli98033
·
2020-07-14 08:16
scala
IDEA编译
Spark源码
1.IDEA导入
Spark源码
导入源码之后,在编译之前需要做一些工作:设定JDKFile-》ProjectStructure-》SDKs,选择jdk1.8设定scalaFile-》Setting-》Plugins
binglihan
·
2020-07-14 08:40
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他