sparkcontext

spark-submit提交任务时报错，Error initializing SparkContext

16/03/0400:21:09WARNSparkContext:UsingSPARK_MEMtosetamountofmemorytouseperexecutorprocessisdeprecated,pleaseusespark.executor.memoryinstead.16/03/0400:21:09ERRORSparkContext:ErrorinitializingSparkCont
北斗狼52cto·2016-03-03 16:06

spark-submit提交任务时报错，Error initializing SparkContext

16/03/0400:21:09WARNSparkContext:UsingSPARK_MEMtosetamountofmemorytouseperexecutorprocessisdeprecated,pleaseusespark.executor.memoryinstead.16/03/0400:21:09ERRORSparkContext:ErrorinitializingSparkCont
北斗狼52cto·2016-03-03 16:06

Spark的python编程-初步理解

spark应用程序结构 Spark应用程序可分两部分：driver部分和executor部分初始化SparkContext和主体程序A：driver部分   driver部分主要是对SparkContext
openthings·2016-03-03 09:00

SparkContext的初始化（叔篇）——TaskScheduler的启动

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟四篇随笔分别展现。《深入理解Spark：核心思
泰山不老生·2016-03-02 14:00

scala 半生对象和半生类

object会有自己的构造方法，默认是没有参数的构造方法object放一些静态的成员或方法如SparkContext同时有类和object半生类和半生对象放在同一个文件夹中半生对象中有一个apply方法构造类的时候一般不用
gdmzlhj1·2016-03-01 13:07

SparkContext的初始化（叔篇）——TaskScheduler的启动

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟三篇随笔分别展现。《深入理解Spark：核心思
·2016-02-29 12:00

[置顶] spark源码学习(八):spark具体是如何使用集群的资源去运行任务

          spark源码学习(八):spark具体是如何使用集群的资源去运行任务   在前面的blog中谈到了sparkContext,DAGScheduler的初始化，TaskSeceduler
liyaohhh·2016-02-28 12:00

图解Spark Transformation算子

Transformation算子变换不触发提交作业，而Action算子会触发SparkContext提交Job作业，下面主要使用pySparkAPI来作为事例，图解Spark的Transformation
白 杨·2016-02-26 21:55

图解Spark Transformation算子

Transformation算子变换不触发提交作业，而Action算子会触发SparkContext提交Job作业，下面主要使用pySparkAPI来作为事例，图解Spark的Transformation
ZCF1002797280·2016-02-26 21:00

spark源码学习（三）：job的提交以及runJob函数的分析

spark源码学习：sparkContext的初始化分析（三）上一篇仅仅谈及了taskScheduler和schedulerBackend相关的代码。
liyaohhh·2016-02-25 20:26

spark源码学习（二）：sparkContext的初始化分析（二）

          spark源码学习：sparkContext的初始化分析（二）       spark的sparkContext初始化中的sparkEnv相关的概念以及重要的组成部分在上一部分简单的介绍
liyaohhh·2016-02-25 17:00

SparkContext的初始化（仲篇）——SparkUI、环境变量及调度

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章Spark设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟四篇随笔分别展现。《深入理解Spark：核心思想
beliefer·2016-02-25 14:00

spark源码学习（一）：sparkContext的初始化分析（一）

              spark源码学习：sparkContext的初始化分析   spark可以运行在本地模式local下，可以运行在yarn和standalone模式下，但是本地程序是通过什么渠道和这些集群交互的呢
liyaohhh·2016-02-25 12:00

spark python编程

spark应用程序结构 Spark应用程序可分两部分：driver部分和executor部分初始化SparkContext和主体程序A：driver部分   driver部分主要是对SparkContext
张欢19933·2016-02-22 19:00

spark基本工作流程

引言Spark的应用分为任务调度和任务执行两个部分，所有的Spark应用程序都离不开SparkContext和Executor两部分，Executor负责执行任务，运行Executor的机器称为Worker
张欢19933·2016-02-22 15:00

《深入理解SPARK：核心思想与源码分析》——SparkContext的初始化（中）

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟三篇随笔分别展现。《深入理解Spark：核心思
泰山不老生·2016-02-22 12:00

Spark天堂之门(SparkContext)解密(DT大数据梦工厂)

内容：1、Spark天堂之门；2、SparkContext使用案例鉴赏；3、SparkContext内幕；4、SparkContext源码解密；SparkContext是编写任意Spark程序的第一个对象
feiweihy·2016-02-20 13:46

spark RDD算子详解3

Actions算子本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDDDAG的执行。
张欢19933·2016-02-19 17:00

spark ui 监控

运行时作业查看每一个SparkContext启动一个webUI,默认情况下在端口4040,显示关于应用程序的有用信息,包括:·        调度器阶段和任务的列表·        RDD大小和内存使用的概览
张欢19933·2016-02-19 09:00

spark中的广播变量broadcast

Spark中的Broadcast处理首先先来看一看broadcast的使用代码:val values = List[Int](1,2,3)val broadcastValues = sparkContext.broadcast
u014393917·2016-02-19 08:00

spark快速大数据分析之读书笔记

创建RDD最简单的方式就是把程序中一个已有的集合传给SparkContext的parallelize()方法。val lines = sc.textFi
sucre·2016-02-18 20:00

Spark的学习(二)

支持很多的API操作，最最基础的就是如何读取数据，请看下面的Demo：packageday01 importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext
sihuahaisifeihua·2016-02-18 19:00

spark的内存分配管理

SPARK的内存管理器StaticMemoryManager,UnifiedMemoryManager1.6以后默认是UnifiedMemoryManager.这个内存管理器在sparkContext中通过
u014393917·2016-02-18 14:00

[第七章] spark 资源调度算法深入剖析

前面几章我们重点讲述了spark的的原理，sparkContext的初使化，spark主备切换，master的注册等。
cariya·2016-02-16 18:29

SparkContext的初始化（伯篇）——执行环境与元数据清理器

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章Spark设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟四篇随笔分别展现。本文展现第3章第一部分的内容：
beliefer·2016-02-16 10:00

spark storage之SparkEnv

ok，首先看看SparkContext中sparkEnv相关代码：1private[spark]defcreateSparkEnv( 2conf:SparkConf, 3isLocal:Boolean
月影舞华·2016-02-16 10:00

spark storage之SparkEnv

ok，首先看看SparkContext中sparkEnv相关代码：1private[spark]defcreateSparkEnv( 2conf:SparkConf, 3isLocal:Boolean
月影舞华·2016-02-16 10:00

[第五章]Master注册机制尝试剖析

前面三章我们已经尝试剖析讲过SparkContext的基本的原理，其实涉及到了Driver对Master的注册，本节就关于Master注册机制进行更详细的剖析。
cariya·2016-02-15 17:13

《深入理解Spark：核心思想与源码分析》——SparkContext的初始化（上）

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟三篇随笔分别展现。本文展现第3章第一部分的内容
泰山不老生·2016-02-15 12:00

读源码剖析TaskScheduler运行内幕及本地性算法确定

本身的时候命令终端反馈回来的主要是ClientEndpoint和SparkDeploySchedulerBackend，这是因为此时还没有任何Job的触发，这是启动Application本身而已，所以主要就是实例化SparkContext
zhangym195·2016-02-14 12:47

RDD案例（DT大数据梦工厂）

flatmap等操作回顾；2、reduceBykey、groupBykey；3、jion、cogroug；算子共同特点：都是最常用的算子，构建复杂算法的基石，都是lazy级别的，不属于action创建SparkContext
feiweihy·2016-02-08 09:17

大数据IMF行动传奇 迈向SparkContext天堂之门！ 探索天堂之门！

1、编写的一个WordCount的例子，其中有： valconf=newSparkConf()//创建SparkConf对象 conf.setAppName("Wow,MyFirstSparkApp!")//设置应用程序的名称， conf.setMaster("local")//程序在本地运行 valsc=newSparkContext(conf) 2、valsc=newSparkContext(
duan_zhihua·2016-02-04 12:00

spark的task调度器(一)

SPARK的调度器spark的调度器在SparkContext初始化时,通过生成TaskSchedulerImpl实例时根据配置生成,可配置的调度器包含FIFO/FAIR两种调度器.如果是FAIR调度器时
u014393917·2016-02-01 16:00

Spark集群中WordCount运行原理

{SparkContext,SparkConf} /** *Createdbyvivion2016/1/27. */ objectWordCount{ defmain(args:Array
Kevin12·2016-02-01 01:43

spark 实战笔记case4

packagede.zalando.sla_spark_sql importorg.apache.spark.SparkContext importorg.apache.spark.SparkContext
mlljava1111·2016-01-30 19:00

spark源码action系列-开头部分

Spark任务的具体的启动通过rdd中的action来执行SparkContext中的runJob来对任务进行启动,一个action的动作就会生成一个job.如果rdd中没有现成可用的action来执行业务想要的操作时
u014393917·2016-01-29 13:00

Day8使用IDEA 开发spark

如图程序代码如下：packagecn.tan.spark.dt importorg.apache.spark.SparkContext im
·2016-01-28 09:00

【spark-1.5.1】Spark SQL and DataFrame

dataframes一、createdataframesval sc: SparkContext val sqlContext = new org.apache.spark.sql.SQLContext
wilbur·2016-01-26 11:00

Spark架构模型介绍

集群概述：（一）组件spark应用作为一系列独立的进程运行在集群上，通过SparkContext来协调，这个对象一般在我们的main程序里面，通常称为驱动程序，特别的，为了能够在集群上运行，SparkContext
qindongliang1922·2016-01-25 18:00

Spark架构模型介绍

集群概述：（一）组件spark应用作为一系列独立的进程运行在集群上，通过SparkContext来协调，这个对象一般在我们的main程序里面，通常称为驱动程序，特别的，为了能够在集群上运行，SparkContext
·2016-01-25 10:00

spark源码走读（2）

sc=SparkContext(master,appName)主要是在SparkContext类中，会按照传递的参数；初始化SparkConf对象valarr=Array(1,2,3,4,5)valarr1
rongyongfeikai2·2016-01-22 12:00

spark wordcount执行流程剖析

概要WordCount程序示例import org.apache.spark.SparkContext import org.apache.spark.SparkConf import org.apache.spark.SparkConf
_hadooper·2016-01-20 23:00

Spark 访问 Hive 执行 SQL

2014:49:41[INFO][storage.BlockManagerMaster(59)]BlockManagerMasterstopped 01-2014:49:41[INFO][spark.SparkContext
Rayn-瑞恩·2016-01-20 15:00

Spark 访问 Hive 执行 SQL

-2014:49:41[INFO][storage.BlockManagerMaster(59)]BlockManagerMasterstopped01-2014:49:41[INFO][spark.SparkContext
chuhui1765·2016-01-20 15:00

[置顶] SparkR

Startingup:SparkContext,SQLConte
u012432611·2016-01-17 16:00

[置顶] SparkML实战之五：SVM

{SparkContext,SparkConf} importorg.apache.spark.mllib.classification.
u012432611·2016-01-14 10:00

[置顶] SparkML实战之四：回归

{SparkContext,SparkConf} importorg.apache.spark.mllib.regression.LabeledPoint importorg.apache.spark.mllib.regression.LinearRegressionModel
u012432611·2016-01-14 10:00

[置顶] SparkML实战之三：Logistic回归

packageMLlib importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext importorg.apache.spark.mllib.classification
u012432611·2016-01-14 10:00

[置顶] SparkML实战之二：Kmeans

{SparkConf,SparkContext} importorg.apache.spark.mllib.clustering.KMeans importorg.apache.spark.mllib.linalg.Vectors
u012432611·2016-01-14 09:00

[置顶] SparkML实战之一：线性回归

{SparkConf,SparkContext} importorg.apache.spark.mllib.linalg.Vectors importorg.apache.spark.mllib.regression
u012432611·2016-01-14 09:00
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他