Spark1.3.1

Spark为何使用Netty通信框架替代Akka

解决方案：一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但是时代和技术都在演化，从Spark1.3.1版本开始，为了解决大块数据
yyoc97·2024-01-30 07:56

Spark为何使用Netty通信框架替代Akka

导读一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但是时代和技术都在演化，从Spark1.3.1版本开始，为了解决大块数据
拾荒路上的开拓者·2020-09-13 04:45

spark 入门map reduce 最好的几个例子

安装Scala语言包如果下载的ScalaIDE自带的Scala语言包与Spark1.3.1使用的Scala版本(2.10.x)不一致，那么就需要下载和本文所使用的Spark所匹配的版本，以确保实现的Scala
haozi_ncepu·2020-08-23 19:17

spark搭建和使用,处理massive文件

文章目录1.本地安装spark1.1安装Anaconda1.2安装JDK1.81.3安装spark1.3.1安装sparkforhadoop版本1.3.2添加环境变量1.4安装hadoop1.4.1下载
萤火虫之暮·2020-08-04 06:14

Spark伪分布式环境下安装指南

目录：一准备工作二安装scala2.10.5三安装spark1.3.1四验证安装结果一准备工作（1）配套软件版本要求：SparkrunsonJava6+andPython2.6+.FortheScalaAPI
bima2015·2020-07-14 08:06

Spark1.3.1源码(2)-DAGScheduler中stage划分和提交

前面我们已经介绍了SparkSubmit提交任务后，Worker的调度以及Executor的注册过程。今天我们将介绍Spark是如何将我们程序划分成一个个job并且提交到对应的Executor执行的。我们知道RDD分为两种，transformation和action。只有当执行action时才会真正提交job进行计算。并且还会根据RDD之间的依赖关系(宽依赖、窄依赖)进行stage的划分，将sta
喜讯XiCent·2020-07-08 02:21

Spark1.3.1源码(1)-Spark Submit任务提交以及Worker向Executor注册

当我们写好的Spark程序想要提交到集群运行时，我们通常是调用SparkSubmit脚本进行提交，那调用SparkSubmit脚本是如何在集群中执行我们的Spark程序的，Master是如何进行调度的，Executor如何向Driver注册的等等，过程复杂，这篇文章将为你一一揭晓。1.任务提交Executor的注册流程执行命令bin/spark-submit，内部通过exec执行${SPARK_H
喜讯XiCent·2020-07-08 02:50

Spark 入门实战之最好的实例

安装Scala语言包如果下载的ScalaIDE自带的Scala语言包与Spark1.3.1使用的Sca
2Tree·2020-07-05 15:56

Spark1.3.1源码分析 Spark-Master、Worker启动流程

Master和Worker关系图image.png总结master：通过读取配置，创建actorSystem，反射调用master，master启动后，执行生命周期方法，preStart和receiveWithLogging,定时valWORKER_TIMEOUT=conf.getLong("spark.worker.timeout",60)*1000清理失去心跳的Workerworker:通过读
LancerLin_LX·2020-04-10 05:10

Spark通信框架Spark Network Common

模块分析为什么用Netty通信框架代替Akka一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但是时代和技术都在演化，从Spark1.3.1
Alex90·2020-04-02 19:06

Spark1.3.1 Job提交流程分析

wordcount代码sc.textFile(args(0)).flatMap(_.split("")).map((_,1)).reduceByKey(_+_).saveAsTextFile(args(1))首先我们知道，RDD是遇到action操作才开始提交job任务，其他操作是transformation，lazy的模式，RDD是什么Alistofpartitions（paritition的数
LancerLin_LX·2020-03-16 05:34

[Spark源码剖析] DAGScheduler划分stage

划分stage源码剖析本文基于Spark1.3.1先上一些stage相关的知识点：DAGScheduler将Job分解成具有前后依赖关系的多个stageDAGScheduler是根据ShuffleDependency
牛肉圆粉不加葱·2019-11-08 16:50

spark深度解析：调度算法

基于spark1.3.1的源码解读不得不佩服spark源码的精炼，standalone模式中，不到100行就搞定了资源调度，spark提供两种资源调度方式，尽量打散：即我们的executor会尽量的分配更多的
Java_Soldier·2018-11-28 14:29

Spark1.3.1源码分析 Spark job 提交流程

spark提交./bin/spark-submit\--class\--master\--deploy-mode\--conf=\...#otheroptions\[application-arguments]例如WordCount代码importorg.apache.spark.{SparkConf,SparkContext}/***Createdbylancerlinon2018/2/2.*/
LancerLin_LX·2018-02-06 21:12

spark学习-72-源代码：Endpoint模型介绍(4)-Spark为何使用Netty通信框架替代Akka

解决方案：一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但是时代和技术都在演化，从Spark1.3.1版本开始，为了解决大块
九师兄·2018-01-05 17:16

Spark 入门实战之最好的实例

安装Scala语言包如果下载的ScalaIDE自带的Scala语言包与Spark1.3.1使用的Sca
gongpulin·2016-05-29 23:28

Spark 入门实战之最好的实例

安装Scala语言包如果下载的ScalaIDE自带的Scala语言包与Spark1.3.1使用的Sc
gongpulin·2016-05-29 23:00

基于Hadoop2.6.0的Spark1.3.1大数据处理平台的搭建

 基于Hadoop2.6.0的Spark大数据处理平台的搭建目     录 一、虚拟化软件、实验虚拟机准备4（一）VMwareWorkstation114（二）模版机安装4（三）安装VMwaretools4（四）安装FTP服务4二、Hadoop与Spark的安装配置4（一）登陆和使用系统4（二）下载和安装jdk-7u795（三）配置单机模式hadoop71.安装SSH和rsync72.安装hado
u012429555·2016-05-08 16:00

[Spark源码剖析]Task的调度与执行源码剖析

本文基于Spark1.3.1，Standalone模式一个SparkApplication分为stage级别和task级别的调度，stage级别的调度已经用[DAGScheduler划分stage]和[
牛肉圆粉不加葱·2015-11-10 13:13

spark sql中将数据保存成parquet,json格式

val df = sqlContext.load("/opt/modules/spark1.3.1/examples/src/main/resources/people.json",
·2015-10-31 11:05

spark1.3.1安装和集群的搭建

好了，下面讲一下spark1.3.1是如何安装到集群上去的。 　　
·2015-10-27 13:04

Hadoop2.6.0和Spark1.3.1添加LZO压缩支持

    因为MR在计算过程会产生大量的磁盘和网络的IO，故如果能对MR的中间结果进行压缩，势必能够进一步提升MR的计算性能。而LZO作为一种压缩算法，在具有较高的压缩比例和较好的压缩速度的同时，也允许压缩数据进行block分片。所以现行的集群多采用LZO算法进行压缩。    本文主要针对Hadoop2.6.0，介绍下添加LZO支持所需要的四个步骤：安装LZO在http://www.oberhum
leo-leong·2015-08-05 19:00

spark1.3.1安装

1、 下载scala2.11.4版本下载地址为：http://www.scala-lang.org/download/2.11.4.html2、 解压和安装：将源文件放到/opt/hadoop下，复制到/usr/local下面，解压tar-zxvfscala-2.11.4.tgz3、 编辑~/.bash_profile文件增加SCALA_HOME环境变量配置，vim~/.bashrcexportS
hechenghai·2015-07-14 14:00

Spark1.3.1安装配置运行

本文基于Spark1.3.1，介绍一下Spark基于hadoop-2.3.0-cdh5.0.0的安装配置和简单使用。 
superlxw1234·2015-06-05 15:00

Spark1.3.1安装配置运行

本文基于Spark1.3.1，介绍一下Spark基于hadoop-2.3.0-cdh5.0.0的安装配置和简单使用。 
superlxw1234·2015-06-05 15:00

Spark1.3.1安装配置运行

阅读更多本文基于Spark1.3.1，介绍一下Spark基于hadoop-2.3.0-cdh5.0.0的安装配置和简单使用。
superlxw1234·2015-06-05 15:00

Spark下实现LDA+SVM的文本分类处理

最新发布的Spark1.3.1版本中已经实现了LDA的算法，并且以前实现过LDA+SVM进行文本分类的处理程序，借此机会想将程序改为Spark的分布式，Spark已经支持SVM和LDA算法。
yunzhongfeiniao·2015-06-02 17:00

基于spark1.3.1的spark-sql实战－02

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.// sc is an existin
stark_summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.//scisanexistingSpa
Stark_Summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

阅读更多HiveTables将HIVE_HOME/conf/hive-site.xml文件copy到SPARK_HOME/conf/下Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreatesmetastore_dbandwarehouseinthecurrentdirectory.//scisanexistingSpark
Stark_Summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

阅读更多HiveTables将HIVE_HOME/conf/hive-site.xml文件copy到SPARK_HOME/conf/下Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreatesmetastore_dbandwarehouseinthecurrentdirectory.//scisanexistingSpark
Stark_Summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.//scisanexistingSpa
Stark_Summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.//scisanexistingSpa
stark_summer·2015-05-19 17:00

基于spark1.3.1的spark-sql实战－01

sqlContext总的一个过程如下图所示：SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将LogicalPlan转换
stark_summer·2015-05-19 13:00

基于spark1.3.1的spark-sql实战－01

 sqlContext总的一个过程如下图所示：SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将LogicalPlan转
Stark_Summer·2015-05-19 13:00

基于spark1.3.1的spark-sql实战－01

 sqlContext总的一个过程如下图所示：SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将LogicalPlan转
Stark_Summer·2015-05-19 13:00

基于spark1.3.1的spark-sql实战－01

sqlContext总的一个过程如下图所示：SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将LogicalPlan转换
stark_summer·2015-05-19 13:00

spark1.3.1配置模板

spark1.3.1搭配hadoop2.6.0，同时支持standalone和yarnspark-env.shexportSCALA_HOME=/home/hadoop/scala-2.11.6 #standalone
寒翼·2015-05-14 16:00

spark1.3.1使用基础教程

spark可以通过交互式命令行及编程两种方式来进行调用： 前者支持scala与python 后者支持scala、python与java 本文参考https://spark.apache.org/docs/latest/quick-start.html，可作快速入门 再详细资料及用法请见https://spark.apache.org/docs/latest/programming-g
·2015-04-28 11:00

spark1.3.1使用基础教程

spark可以通过交互式命令行及编程两种方式来进行调用：前者支持scala与python后者支持scala、python与java本文参考https://spark.apache.org/docs/latest/quick-start.html，可作快速入门再详细资料及用法请见https://spark.apache.org/docs/latest/programming-guide.html建议
jediael_lu·2015-04-28 11:00

安装spark1.3.1单机环境

本文介绍安装spark单机环境的方法，可用于测试及开发。主要分成以下4部分：（1）环境准备（2）安装scala（3）安装spark（4）验证安装情况1、环境准备（1）配套软件版本要求：SparkrunsonJava6+andPython2.6+.FortheScalaAPI,Spark1.3.1usesScala2.10.YouwillneedtouseacompatibleScalaversio
jediael_lu·2015-04-27 14:00

安装spark1.3.1单机环境

本文介绍安装spark单机环境的方法，可用于测试及开发。主要分成以下4部分： （1）环境准备 （2）安装scala （3）安装spark （4）验证安装情况 1、环境准备 （1）配套软件版本要求：Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala 2.10. You will ne
·2015-04-27 14:00

Build Spark1.3.1 with CDH HADOOP

BuildSpark1.3.1withCDHHADOOP1、找到CDH的版本[[email protected]]#hadoopversion Hadoop2.0.0-cdh4.7.0 Subversionfile:///var/lib/jenkins/workspace/CDH4.7.0-Packaging-Hadoop/build/cdh4/hadoop/2.0.0-cdh4.7.0/sou
u014388509·2015-04-20 16:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他