sparkcontext

spark on yarn启动异常

一个困扰了我好久的异常：17/05/3123:53:23ERRORspark.SparkContext:ErrorinitializingSparkContext.org.apache.spark.SparkException
乄浅醉·2017-06-01 00:07

【Spark源码】Spark-Context创建流程源码

应用程序开始执行时的步骤一般都是先创建SparkConf，再创建SparkContext1SparkContext创建的主要内容创建SparkEnv（driver端）创建UI创建HadoopConfiguration
_和_·2017-05-27 16:40

SparkSQL写数据到Hive的动态分区表

objectHiveTableHelperextendsLogging{defhiveTableInit(sc:SparkContext):HiveContext={valsqlContext=newHiveContext
Anonymous_cx·2017-05-23 21:01

Spark实例-操作Hive数据

{SparkConf,SparkContext}/***CreatedbyAdministratoron2017/3/12.*/objectHi
不圆的石头·2017-05-09 11:56

Spark On YARN启动流程源码分析

SparnOnYarn启动流程分析1.YarnschedulerBackend启动入口YARN的启动是在SparkContext初始化scheduler时启动的，通过ClassLoader初始化YarnschedulerBackend
Rilakkuma·2017-05-06 13:03

计算回归曲线的MSE

{SparkConf,SparkContext}objectkimiYang{varconf=newSparkC
kimiYangfly·2017-04-25 09:41

spark SQL实例（load和save操作）

{SparkConf,SparkContext}/***Created
BBlue-Sky·2017-04-23 11:54

spark的Driver节点和Executor节点

它负责开发人员编写的用来创建SparkContext、创建RDD，以及进行RDD的转化操作和行动操作代码的执行。
蜗牛0·2017-04-12 22:59

Spark Scala Demo

SparkContext创建valconf=newSparkConf().setAppName("AppName")valsc=newSparkContext(conf)读取Hdfs文件sc.textFile
chichuduxing·2017-04-09 22:43

Spark划分Shuffle依赖以及创建Stage的流程

博客为笔者学习过程中，自我的理解和总结，难免存在错误，如果给您造成困扰请原谅，同时希望指点迷津上一篇博文介绍了Spark提交作业的流程以及作业是如何被触发在集群中运行的，答案便是：action算子中调用sparkContext.runJob
javartisan·2017-04-08 22:25

入门spark+python

user_data=sc.textFile("ml-100k/u.user")user_data.first()#此处如能输出数据文件首行，则说明环境搭建没问题sc是Sparkshell启动时自动创建的一个SparkContext
bettesu·2017-03-28 23:02

Spark通过JdbcRdd连接Oracle数据库（scala）

{SparkConf,SparkContext}objectJdbcTest{defmain(args:Array[String]){valconf=newSparkConf()vals
dthfhjkj·2017-03-28 14:46

Spark通过JdbcRdd连接Oracle数据库（scala）

{SparkConf,SparkContext}objectJdbcTest{defmain(args:Array[String]){valconf=newSparkConf()
kevin19900306·2017-03-28 14:00

Spark通过JdbcRdd连接Oracle数据库（scala）

{SparkConf,SparkContext}objectJdbcTest{defmain(args:Array[String]){valconf=newSparkConf()
kevin19900306·2017-03-28 14:00

SparkRDDNote

sparkContext.textFile("")读取文件时注意路径格式：本地文件file:///D://fileDirctory1//file.txthdfs:hdfs:/user/hdfs/test
时待吾·2017-03-24 20:22

Spark transformation操作

对一个集合调用SparkContext的parallelize方法，集合的对象将会被拷贝，创建出一个可以被并行操作的分布式数据集。
HNXYDQ·2017-03-19 01:24

spark读取mongodb

关键看你的spark的使用版本，第三方依赖包的下载见mongodb官网defload[D:ClassTag](sc:SparkContext,readConfig:ReadConfig)(implicite
九指码农·2017-03-16 16:48

Spark Scala DataFram join 操作

{SparkConf,SparkContext}importorg.apache.spark.sql.
秉寒CHO·2017-03-15 20:59

2.Spark常用算子讲解

2）Action行动算子：这类算子会触发SparkContext提交Jo
dream0352·2017-03-15 16:45

spark连接Oracle

{SparkConf,SparkContext}importorg.apache.log4j.{Level,Logger}importorg.apache.s
深海小黄鱼·2017-03-14 16:02

Spark-Core源码精读(11)、Stage的划分过程和Task数据本地性

数据本地性引子前面的文章中我们已经分析了Spark应用程序即Application的注册以及Executors的启动注册流程，即计算资源已经分配完成(粗粒度的资源分配方式)，换句话说Driver端的代码已经运行完成(SparkConf、SparkContext
sun4lower·2017-03-12 22:09

TasksetManager冲突导致SparkContext异常关闭

背景介绍当正在悠闲敲着代码的时候，业务方兄弟反馈接收到大量线上运行的sparkstreaming任务的告警短信，查看应用的web页面信息，发现spark应用已经退出了，第一时间拉起线上的应用，再慢慢的定位故障原因。本文代码基于spark1.6.1。问题定位登陆到线上机器，查看错误日志，发现系统一直报CannotcallmethodsonastoppedSparkContext.，全部日志如下[ER
liujianhuiouc·2017-03-08 18:19

spark入门详解

Application:基于Spark的用户程序，包含了一个driverprogram和集群中多个executorDriverProgram：运行Application的main()函数并创建SparkContext
anningzhu·2017-03-07 20:36

spark-note

{SparkConf,SparkContext}importorg.apache.spark.sql.types._importspark.implicits.
jacklin2015·2017-02-25 10:00

Spark组件和术语定义

Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码；Driver：Spark中的Driver即运行上述Application的main()函数并且创建SparkContext
蜗牛爱上星星·2017-02-24 13:10

Spark 源代码 SparkContext

/**LicensedtotheApacheSoftwareFoundation(ASF)underoneormore*contributorlicenseagreements.SeetheNOTICEfiledistributedwith*thisworkforadditionalinformationregardingcopyrightownership.*TheASFlicensesthis
段智华·2017-02-04 12:22

SparkContext组件之SparkConf

sparkContext是spark程序的入口，可以创建RDD、accumulators和broadcast/***MainentrypointforSparkfunctionality.ASparkContextrepresentstheconnectiontoaSpark
简陋的小屋·2017-01-15 11:34

spark core 2.0 Driver HeartbeatReceiver

*/private[spark]classHeartbeatReceiver(sc:SparkContext,clock:Clock)extendsSparkListenerwithThreadSafeRpcEndp
houzhizhen·2017-01-10 15:29

MAC Spark no snappyjava in java.library.path

软件版本：Mac：10.12.1，Spark：1.6.0-cdh5.7.3，JDK：1.7.0_79;IDEA：14；问题描述：在Mac上运行Spark程序时（采用local生成SparkContext
fansy1990·2016-12-31 11:35

MAC Spark no snappyjava in java.library.path

软件版本：Mac：10.12.1，Spark：1.6.0-cdh5.7.3，JDK：1.7.0_79;IDEA：14；问题描述：在Mac上运行Spark程序时（采用local生成SparkContext
fansy1990·2016-12-31 11:00

Spark源码解读之SparkContext初始化

SparkContext初始化是Driver应用程序提交执行的前提，这里以local模式来了解SparkContext的初始化过程。
Wang_AI·2016-12-13 17:27

spark 源码学习之打印线程堆栈

spark页面中有个打印executor的堆栈的，很好用，最近自己的web项目也想把堆栈用servlet的方式去展现出来，于是跟了下spark源码SparkContext中：/***CalledbythewebUItoobtainexecutorthreaddumps.Thismethodmaybeexpensive
cjuexuan·2016-12-12 21:21

MetadataCleaner

executor跟踪各个map任务输出的存储位置的数据，根据spark.cleaner.ttl.MAP_OUTPUT_TRACKER设置清理时间，默认值为-1，表示不清理；SPARK_CONTEXT，SparkContext
zhaomengsen·2016-12-09 23:00

MetadataCleaner

executor跟踪各个map任务输出的存储位置的数据，根据spark.cleaner.ttl.MAP_OUTPUT_TRACKER设置清理时间，默认值为-1，表示不清理；SPARK_CONTEXT，SparkContext
zhaomengsen·2016-12-09 23:00

SparkContext

SparkContext1,Spark程序在运行的时候分为Driver和Executors两部分；2,Spark的程序编写是基于SparkContext的，具体来说包含两方面：Spark编程的核心基础
sflotus·2016-12-05 23:15

RDD 算子分类

2.Action：行动算子，这类算子会触发SparkContext提交Job作业。下面分别对两类算子进行详细介绍：一：Transformation：转换算子1.
wangyizhen·2016-12-01 10:56

Spark：Spark 编程模型及快速入门

http://blog.csdn.net/pipisorry/article/details/52366356Spark编程模型SparkContext类和SparkConf类代码中初始化我们可通过如下方式调用
-柚子皮-·2016-11-25 10:08

Spark作业提交和DAG调度器生成Task

RDDaction=>SparkContext.runJob(rdd:RDD[T],func:Iterator[T]=>U)runJob()=>dagScheduler.runJob:对所有Partitions
aegeaner·2016-11-22 20:42

解压parquet格式文件到text

importsysfrompysparkimportSparkConf,SparkContextfrompyspark.sqlimportSQLContextinputpath=sys.argv[1]outputpath=sys.argv[2]sc=SparkContext
dashabiooo·2016-11-15 13:22

解压parquet格式文件到text

importsysfrompysparkimportSparkConf,SparkContextfrompyspark.sqlimportSQLContextinputpath=sys.argv[1]outputpath=sys.argv[2]sc=SparkContext
x10232·2016-11-15 13:00

Spark -3：三种集群模式

组件Spark应用程序作为集群上独立的进程集运行，由您的主程序中的SparkContext对象协调（称为驱动程序）。
GE12·2016-11-14 10:37

spark:spark内核架构

2.driver做的第一件事情就去构造sparkContext，构造sparkContext就会初始化我们的DAGScheduler和TaskScheduler.3.构造完
过江小卒·2016-11-13 11:26

spark的三种模式的详细运行过程

，Driver运行在Client；使用SparkShell提交的任务的时候，Driver是运行在Master上2、使用SparkSubmit提交任务的时候，使用本地的Client类的main函数来创建sparkcontext
do_what_you_can_do·2016-11-11 14:28

spark学习

Application:Application是创建了SparkContext实例对象的Spark用户，包含了Driver程序：Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个
illbehere·2016-11-11 11:00

Spark程序监控

4040端口可以在浏览器中打开http://:4040网址，网址显示的信息：任务和调度状态的列表RDD大小和内存使用的统计信息正在运行的executor的信息环境信息如果在同一台机器上有多个SparkContext
pofengliuming·2016-11-03 11:40

Spark On Yarn ERROR spark.SparkContext: Error initializing SparkContext.

当初搭建SparkOnYarn时候配置yarn端获取spark运行的jar包时候，配置如下：spark.yarn.jarshdfs:///sparkrunjar/提交程序：spark-submit--classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modeclient/home/daxin/spark/examples/jars
javartisan·2016-11-01 22:10

Spark中实现分组取TOP N (Scala版本)

{SparkConf,SparkContext}/***Createdbytgon10/25/16.*/objectGroupTopn{
霄嵩·2016-10-25 19:22

intellij 调试spark scala 程序 报错

{SparkConf,SparkContext} /*Createdbytomtangon2016/12/16. */ objecttomhelloworld{ defFILE_NAME:String
ccmaotang·2016-10-25 10:00

Spark SQL 两表关联

{SparkContext,SparkConf}//definecaseclassforusercaseclassUser(userID:String,gender:String,age:Int
秉寒CHO·2016-10-10 16:14

Spark入门遇见的问题2

问题1:对于RDD的序列化saveAsObjectFile之后，反序列化使用SparkContext.objectFile方法，当时序列化时候必须传入泛型告诉序列化器反序列化之后的对象类型。
javartisan·2016-10-08 15:00
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他