sparkcontext

windows远程提交Spark作业到linux集群，并尝试多种模式运行

本地构建java+scala混合工程：测试使用本地win10做driverjava远程提交代码到集群sparkContext版本sparkSession版本scala远程提交代码到集群sparkContext
haixwang·2018-05-10 12:46

Failed to get broadcast_0_piece0 of broadcast_0

在运行多个程序时，每个程序都建立了自己的sparkContext.运行了几个之后会出现：java.io.IOException:org.apache.spark.SparkException:Failedtogetbroadcast
阳阳鸭·2018-05-09 13:29

Spark 的Core深入（二）

Spark的Core深入（二）标签（空格分隔）：Spark的部分一：日志清洗的优化二：SparkRDD三：SparkContext三大功能四：SparkonYARN五：sparkRDD的依赖一、日志清洗的优化
flyfish225·2018-05-08 11:05

Spark之本地模式与集群模式

Spark之本地模式与集群模式1.spark-shell的本地模式和集群模式1.1local本地模式直接启动spark-shell命令窗口脚本启动后，会生成一个SparkContext的上下文对象sc。
张行之·2018-05-07 22:36

用IDEA开发spark应用，发生java.lang.ClassNotFoundException的解决

{SparkConf,SparkContext}objectSpark1{defmain(args:A
程序猿不加班·2018-05-06 03:52

scala二次排序实现

{SparkConf,SparkContext}classsecondSort(valfirst:Int,valsecond:Int)extendsOrdered[secondSort]withSerializable
jin6872115·2018-05-03 09:26

Spark Streaming详解(重点窗口计算)

本文结合Spark官网上SparkStreaming的编程指南对SparkStreaming进行介绍StreamingContext如同SparkContext一样，StreamingContext也是
风情客家__·2018-04-27 18:09

spark属性配置方式

在Spark1.0.0提供了3种方式的属性配置：SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用属性直接配置，如master使用
说的对·2018-04-26 18:29

Spark程序的入口之SparkContext

今天讲的是sparkContext，这是spark程序的入口，每次写spark程序，首先你得:newsparkContext(conf)，参数里是sparkConf，也就是一些相关配置参数。
一个程序员的自我修炼·2018-04-18 22:59

spark scala-基础action操作

本文章主要通过scala实现spark的基础action操作演示importorg.apache.spark.SparkConfimportorg.apache.spark.SparkContext/*
贾红平·2018-04-18 09:22

pyspark里面RDD的操作

RDD类型:1.并行集合(ParallelizedCollections):来自于分布式化的数据对象,比如用户自己键入的数据2.文件系统数据集:HadoopDatasets或文本文件,比如通过SparkContext.textFile
Se_cure·2018-04-10 17:34

Spark工作机制

DriverProgram：运行Application的main()函数并创建SparkContext。RDDDAG：当RDD遇到Action算子，将之前的所有算子形成一个有向无环图(DAG)。
Dream__Sky_·2018-04-06 16:33

Spark工作机制

DriverProgram：运行Application的main()函数并创建SparkContext。RDDDAG：当RDD遇到Action算子，将之前的所有算子形成一个有向无环图(DAG)。
Dream__Sky_·2018-04-06 16:33

spark学习总结第一天

3.关闭spark程序可以用sparkContext.stop()或者直接退出程序。
一身诗意千寻瀑·2018-04-03 23:11

Spark中广播变量的作用（foreach往map添加数据后没有数据）

{SparkConf,SparkContext}objectdraft2{defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName
土豆拍死马铃薯·2018-04-03 15:55

spark 读取redis

{SparkConf,SparkContext}importorg.joda.time.
jxx4903049·2018-03-28 20:55

Spark从HDFS读取数据并转存MySQL

.*1.创建sparkSession*2.获取sparkContext*3.读取HDFS数据文件*4.map以\t分隔字段*5.map将字段转为caseclass的属
hashFusion·2018-03-28 09:21

将数据量很大的CSV写入到HIVE

具体操作如下(pyspark下):frompyspark.sqlimportHiveContexthivec=HiveContext(sc)#创建一个hivecontext对象用于写执行SQL，sc为sparkcontext
Smallcaff·2018-03-22 10:19

Spark 调优与调试

Spark中最主要的配置机制是通过SparkConf类对Spark进行配置当创建出一个SparkContext时，就需要
leedsjung·2018-03-19 13:08

关于spark2.x后的SparkSession

最重要的是，它减少了用户需要了解的一些概念，使得我们可以很容易地与Spark交互,在SparkSession中封装了SparkContext,SparkConf等,为了解决用户可能对SparkC
qq_30366667·2018-03-10 21:43

spark-stream-kafka offsets 保存到 zookeeper

{SparkConf,SparkContext}importkafka.message.
choudan1531·2018-03-10 13:00

使用 Scala 写WordContext程序

{SparkConf, SparkContext}object MyWordContextDemo {  def main(args: Array[String]): Unit = {    // 创建一个
菜鸟的征程·2018-02-28 10:01

spark入门名词解释

from=timeline&isappinstalled=0）Driver:运行Application的main函数并创建SparkContext，SparkContext准备Spark应用程序的运行环境
道里听音·2018-02-26 17:39

提交spark程序到yarn出现ERROR SparkContext: Error initializing SparkContext.

命令行输出的java异常栈ERRORSparkContext:ErrorinitializingSparkContext.org.apache.spark.SparkException:Yarnapplicationhasalreadyended!Itmighthavebeenkilledorunabletolaunchapplicationmaster.atorg.apache.spark.sc
蹩脚法师·2018-02-26 14:26

HiveContext和SQLContext

使用SparkSQL时注意HiveContext和SQLContext的关系：见源码：classHiveContext(sc:org.apache.spark.SparkContext)extendsorg.apache.spark.sql.SQLContextwithorg.apache.spark.Logging
leebhing·2018-02-25 10:31

pyspark github算例 计算平均数

代码下载frompysparkimportSparkContextif__name__=="__main__":sc=SparkContext('local','word_count')nums=sc.parallelize
luoganttcc·2018-02-24 17:51

Spark 2.2.1 + Hive 案例之不使用现有的Hive环境；使用现有的Hive数据仓库；UDF自定义函数

在Spark2.2.1中，不需要显式地创建SparkContext、SQLContext、HiveContext实例，其已经封装在SparkSession中。
段智华·2018-02-18 21:10

SparkContext Error File not found /tmp/spark-events does not exist

[Error]SparkContextError-Filenotfound/tmp/spark-eventsdoesnotexist在master节点上创建了/tmp/spark-events.然后将其分发到集群上的其他节点即可工作。mkdir/tmp/spark-eventsrsync-a/tmp/spark-events{slaves}:/tmp/spark-eventsspark-defau
gamedevv·2018-02-10 14:21

Spark源码分析-1.集群架构介绍和SparkContext源码分析

Spark源码分析-1.集群架构介绍和SparkContext源码分析在分析Spark源码之前，有必要把Spark的集群架构和SparkContext复习下，有助于后面对源码的理解。
木星之韵·2018-02-09 21:10

Spark1.3.1源码分析 Spark job 提交流程

{SparkConf,SparkContext}/***Createdbylancerlinon2018/2/2.*/
LancerLin_LX·2018-02-06 21:12

SparkContext、SparkConf和SparkSession之间的联系及其初始化

1SparkConf和SparkContext1.1启动spark-shell每个Spark应用程序都需要一个Spark环境，这是SparkRDDAPI的主要入口点。
love666666shen·2018-02-05 17:02

(译) pyspark.sql.SparkSession模块

classpyspark.sql.SparkSession(sparkContext,jsparkSession=None)用DataSet和DataFrame编写Spark程序的入口SparkSession
cjhnbls·2018-02-04 18:31

spark学习之-----spark编程模型

Application）：基于Spark的用户程序，包含了一个DriverProgram和集群中多个的Executor；l驱动程序（DriverProgram）：运行Application的main()函数并且创建SparkContext
后打开撒打发了·2018-01-30 17:21

SparkContext源码分析

DAGSchedulerstage调度器SparkUI显示application的运行状态TaskScheduler//Createandstarttheschedulerval(sched,ts)=SparkContext.create
chlhyj·2018-01-17 17:45

Spark源码分析 之 Driver和Excutor是怎么跑起来的?(2.2.0版本)

今天抽空回顾了一下Spark相关的源码，本来想要了解一下Block的管理机制，但是看着看着就回到了SparkContext的创建与使用。正好之前没有正式的整理过这部分的内容，这次就顺带着回顾一下。
xingoo·2018-01-10 19:00

《深入理解Spark》之RDD转换DataFrame的两种方式的比较

{SparkConf,SparkContext}importorg.apache.spark.sql.SQLContextimportorg.apache.spark.sql.
lyzx_in_csdn·2018-01-08 17:23

《深入理解Spark》之RDD和DataFrame的相互转换

{SparkConf,SparkContext}importorg.apache.spark.sql.Row;importorg.apache.spark.sql.types.
lyzx_in_csdn·2018-01-07 22:58

Spark构建独立应用 | sbt应用构建打包

_importorg.apache.spark.SparkContext._objectWordCount{defmain(args:Ar
gamedevv·2018-01-07 01:39

Spark构建独立应用 | sbt应用构建打包

_importorg.apache.spark.SparkContext._objectWordCount{defmain(args:Ar
gamedevv·2018-01-07 01:39

Spark源码解读之SparkContext初始化

SparkContext初始化是Driver应用程序提交执行的前提，这里以local模式来了解SparkContext的初始化过程。
盛装吾步·2018-01-04 19:00

spark学习-68-源代码：driver端接收executor的心跳

driver端接收executor的心跳一直不知道driver端如何接收executor的心跳，看了源代码终于知道了，首先SparkContext中初始化了HeartbeatReceiver，HeartbeatReceiver
九师兄-梁川川·2017-12-27 12:13

BigData进阶--细说RDD，DataFrame，Dataset的区别

在spark中有重要的组件SparkContext和SQLContext，在读取数据文件时我们可以通过这两个组件进行不同形式的读取，比如：valconf=newSparkConf().setMaster
杨士超·2017-12-26 18:10

Hive on Spark源码分析

本地模式下，SparkContext与客户端运行在同一个JVM中；远程模式下，Spar
lcjasas·2017-12-18 15:37

标签练习

{SparkConf,SparkContext}/***标签生成器*/objectTGTest{defmain(args:Array[String]):Unit={valconf=newSparkConf
Cincinnati_De·2017-12-17 23:25

Spark编程模型解析

{SparkConf,SparkContext}/***Createdbysunyonggangon16-4-12.
yonggang_sun·2017-12-03 05:40

［转载］spark 中几个重要概念

Application:用户在spark上构建的程序，包含了driver程序以及集群上的executors.DriverProgram:运行main函数并且创建SparkContext的程序。
luomoxyz·2017-12-03 04:33

提交第一个spark作业到集群运行

{SparkConf,SparkContext}objectWordCount{defmain(arg
留歌36·2017-12-02 23:33

spark pyspark无法运行

mostrecentcalllast):File"/Users/comp_name/Downloads/spark-0.9.1/python/pyspark/shell.py",line32,insc=SparkContext
Locky_LLL·2017-12-02 22:42

spark eclipse开发调试 本地单机模式

Exceptioninthread"main"org.apache.spark.SparkException:AmasterURLmustbesetinyourconfigurationatorg.apache.spark.SparkContext
trista0929·2017-11-24 17:59

Spark的架构和任务调度

的模式，会在提交任务的这台机器上面开启一个driver线程，如果是cluster的模式，会随机选择一台机器开启driver线程，driver开启以后，就开始打算执行提交的代码，开启driver的时候对SparkContext
CatherineHuangTT·2017-11-23 22:01
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他