sparkcontext 第22页

spark-shell 启动报错org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acc

Toadjustlogginglevelusesc.setLogLevel(newLevel).ForSparkR,usesetLogLevel(newLevel).19/05/1617:08:23ERRORspark.SparkContext

蘑菇丁·2019-05-16 17:39

大数据 - Spark常用算子

Action 行动/执行算子，这类算子会触发SparkContext提交Job作业。

蒙蒙的林先生·2019-05-15 00:00

Spark算子实战action（Java）

1、reduce算子操作packagecn.spark.sparktest;importorg.apache.spark.SparkConf;importorg.apache.spark.SparkContext

菜鸟也有梦想啊·2019-05-14 19:46

Spark 报错解决--Error initializing SparkContext

在提交spark作业的时候，spark出现报错./spark-shell19/05/1405:37:40WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicableSettingdefaultloglevelto"WARN".To

Stitch_x·2019-05-14 18:24

Spark系列文章-Spark作业监控

默认情况下，每个SparkContext都会在4040端口上启动WebUI，用来展示与应用相关的信息。

Stitch_x·2019-05-14 14:11

Spark-数据源及机器学习算法部署

需要加载驱动--jars或者添加到classpath中或scaddjarSpark对Oracle数据库读取，代码如下：conf=SparkConf().setAppName(string_test)sc=SparkContext

Wind_LPH·2019-05-06 23:00

Spark3_SparkContext

SparkContext1.简介1.1.tellsSparkhowtoaccessacluster(告诉Spark如何去连接集群)开发过程中使用的运行模式包括localstatdaloneyarnmesos

丿灬逐风·2019-05-06 17:55

scala实现单词统计（thirty-nine day）

{SparkConf,SparkContext} /** *scala实现单词统计 */ objectWordcountScala{ defmain

高辉·2019-05-04 18:00

SparkConf SparkContext 的简单介绍

潇洒-人生·2019-05-02 15:45

Spark学习之Spark调优与调试(一)

当创建出一个SparkContext时，就需要创建出一个SparkConf的实例。

|旧市拾荒|·2019-04-21 21:00

spark（一）：spark概览及逻辑执行图

一些重要概念先简要介绍一下：clustermanager：资源管理集群，比如standalone、yarn；application：用户编写的应用程序；Driver：application中的main函数，创建的SparkContext

afeiye·2019-04-20 16:04

Spark常用算子

3.Action算子，这类算子会触发SparkContext提交Job作业例子：1、map是对RDD中

哒哒0376·2019-04-15 14:31

java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext，sparkcontext无法被序列化的问题

sparkcontext无法被序列化的问题，当我们在使用RDD调用map等算子，或者Dstream使用transform时，我们需要在它们的重写的方法里面，需要利用sparkcontext比如把一个集合转化为

寒夜二十五·2019-04-15 13:53

Spark快速入门(6) 高级话题：调度和执行

SparkContext当我们创建一个Spark应用时，最先要创建的是SparkContext对象。SparkContext对象告诉Spark如何连接到集群上。

MeazZa·2019-04-02 15:43

Spark - RDD/DF/DS性能测试

有的文章的说Dataset{Log10(UUID.randomUUID().toString,num)}})valcount=rdd.count()}elseif(typ==1){valrdd=spark.sparkContext.parallelize

大猪大猪·2019-03-28 19:40

Spark--Spark架构与角色介绍及Driver和Worker功能

DriverProgram：运⾏main函数并且新建SparkContext的程序。Application：基于Spark的应用程序，包含了driver程序和集群上的executor。Cl

李小李的路·2019-03-28 14:00

pyspark 连接mysql读取数据

frompysparkimportSparkConffrompysparkimportSparkContextconf=SparkConf().setAppName(“miniProject”).setMaster(“local[*]”)sc=SparkContext

huangkang1995·2019-03-25 13:15

Sparksql连接本地mysql数据库

{SparkConf,SparkContext}importorg.apache.spark.sql.SQLContextobjectSQL_TEST{defmain(args:Array[String

Levy_Y·2019-03-19 10:42

Spark执行环境

SparkEnv是一个很重要的组件，虽然在创建SparkContext的时候也涉及它（只是因为local模式的需

拾荒路上的开拓者·2019-03-15 21:07

提交Scala编写的WordCount程序到Spark集群

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]){//创建SparkConf()并设置App名称valconf=newSparkConf

Levy_Y·2019-03-14 16:39

Caused by: java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$S

{SparkConf,SparkContext}/***Createdbyleboopon2019/3/11.

leboop·2019-03-11 18:10

把excel的数据导入spark，然后进行分析

{SparkConf,SparkContext}objectSparkReadFileCsv{defmain(args:Array[String]){//vallocalpath="F:\\1.csv"v

大数据修行·2019-03-10 13:23

scala常用操作

scala常用操作版本信息python3.7pyspark2.4.0frompysparkimportSQLContext,SparkContext,SparkConfconf=SparkConf()sc

无形·2019-03-09 00:00

Spark学习（二）：SparkConf和SparkContext

通过创建SparkConf对象来配置应用，然后基于这个SparkConf创建一个SparkContext对象。驱动器程序通过SparkContext对象来访问Spark。

CocoMama190227·2019-03-01 14:24

sparkSQL 从MySQL数据源读取数据【demo 程序篇 ReadDataFromMysql】

{SparkConf,SparkContext}objectReadDataFromMysql{defmain(args:Array[String]):Unit={//设置程序入口参数valconf=newSparkConf

tamir_2017·2019-03-01 11:29

wordcount 统计单词数量并按照数量排序

{SparkConf,SparkContext}o

朱健强ZJQ·2019-02-25 18:09

Spark详解（十一）：Spark运行架构原理分析

1.Spark运行架构总体分析1.1总体介绍Spark应用程序的运行架构基本上由三部分组成，包括SparkContext（驱动程序）、ClusterManger（集群资源管理器）和Executor（任务执行进程

MasterT-J·2019-02-24 19:56

spark: sample 数据采样

{SparkConf,SparkContext}importscala.collection.mutable/***sample采样*/objectSampleTest{defmain(args:Array

念念不忘_·2019-02-23 12:33

本地IDEA中使用Spark SQL 连接服务器Hive

1.复制hive-site.xml将Spark-Home/conf目录下的hive-site.xml复制到IDEA工程的resource目录下2.修改入口Spark2.x版本将SparkContext和

jzy3711·2019-02-19 16:43

基于standalone Spark内核架构深度剖析

内核架构深度剖析编写spark应用程序打包成jar使用spark-submit模式提交集群上,通过反射方式,创建一个Driver(进程)一个Driver(进程)--执行我们的application应用程序-构建SparkContext

有一束阳光叫温暖·2019-02-18 17:36

livy简介

它可以通过job或者代码片段的方式来提交Spark任务，并同步或者异步地获得任务的结果，以及管理sparkcontext，上述功能通过简单的REST接口或者RPC服务来实现。

小月亮吖·2019-02-16 11:28

广播变量和累加器使用

{SparkConf,SparkContext} /** *广播变量和累加器使用 */ objectAutoIncre{ defmai

念念不忘_·2019-02-16 00:00

Spark本地调试和远程调试

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]):Unit={//创建SparkConf并设置App名称valconf

Felix_CB·2019-02-14 16:02

wordCount scala

{SparkConf,SparkContext}importorg.apache.log4j.

朱健强ZJQ·2019-02-02 14:24

Spark中的checkpoint用法

怎么建立checkpoint首先需要用sparkContext设置hdfs的checkpoint的目录(如果不设置使用checkpoint会抛出异常:thrownewSparkException(“CheckpointdirectoryhasnotbeensetintheSparkContext

首席撩妹指导官·2019-01-28 16:07

spark源码阅读之executor模块①

SparkContext：Spark应用的入口SparkContext是用户应用于Spark集群交互的主要接口，所以把SparkContext作为入口来展开executor的源码阅读，主要针对standaone

invincine·2019-01-22 11:51

Spark学习笔记：程序设计

基本流程创建SparkContext对象封装了spark执行环境的上下文信息，必须有且只有一个；创建RDD可从Scala集合或Hadoop数据集上创建，利用Context对象的API创建RDD，可以将HBase

GaryBigPig·2019-01-21 22:40

Spark2.2源码剖析——SparkContext

而SparkDriver的初始化始终围绕着SparkContext的初始化。SparkContext可以算得上是Spark应用程序的发动机引擎，轿车要想跑起来，发动机首先要启动。SparkCo

Jorocco·2019-01-14 13:29

Spark学习笔记

导入必要的包frompysparkimportSparkConf,SparkContext上传本地文件到hdfshadoopfs-copyFromLocal/data/data.txt/spark/加载文件数据

alpha18·2019-01-12 15:53

spark工作原理和流程介绍

函数和创建SparkContex的进程在Yarn集群中：Yarn-ClusterDriver进程在集群的节点上Yarn-ClientDriver进程存在本地，方便调试，但是会有大量网络传输，不适合生成环境SparkContext

水墨之白·2019-01-11 19:57

spark调优之内存调优

-driver为主控进程，负责创建sparkContext上下文对象，提交spark作业，并将作业转化为计算任务，在各个executor进程间协调任务的调度（一个） -executor进程，负责为工作节点执行具体的计算任务

原生zzy·2019-01-04 13:18

spark任务运行过程的源码分析

spark任务运行的源码分析在整个spark任务的编写、提交、执行分三个部分：①编写程序和提交任务到集群中②sparkContext的初始化③触发action算子中的runJob方法，执行任务(1)编程程序并提交到集群

原生zzy·2019-01-03 21:28

SparkCore 核心知识——核心机制

目录1、Spark的核心概念2、Spark的运行流程2.1、Spark的基本运行流程2.2、运行流程图解2.3、SparkContext初始化2.4、Spark运行架构特点2.5、DAGScheduler2.6

jiangw-Tony·2019-01-03 21:23

Spark Core 的核心理论增强

（编写的spark代码） (2)Driverprogram Spark中的Driver即运行上述Application的main()函数并且创建SparkContext，其中创建SparkContext

原生zzy·2019-01-03 14:42

【大数据】【Spark】 RDD

一RDD基础1sparkContext每个Spark应用都由一个驱动器程序来发起集群上的各种并行操作，驱动器程序通过一个SparkContext对象访问Spark。

菜丸子·2019-01-03 00:48

Spark Core 的核心理论

1.SparkCore的核心功能 (1)SparkContext: 通常而言，DriverApplication的执行与输出都是通过SparkContext完成的，在正式提交Application之前

原生zzy·2019-01-02 21:13

Spark 内核设计的艺术架构与实现第二章Spark模型设计

1Spark编程模型用户使用SparkContext提供的API编写Driver段程序（常用的textFilesequenceFilerunjob等）Spark2.4Spark基本架构从集群部署的角度来看

chixushuchu·2018-12-30 17:04

spark1.6源码-----任务提交与执行之任务提交

*///调用了sparkContext的runJob//返回一个Array集合defcollect():Array[T]=withScope{valresults=sc.runJob(this,(iter

qq_33872191·2018-12-23 09:16

spark-core 综合练习(广播变量,join的使用)

{SparkConf,SparkContext} /** *Desc: *数据说明： *users.dat---UserID::Gender::Age::Occupation:

LJ2415·2018-12-20 00:00

Spark 运行架构

这些模式的主要组成部分都可以看成SparkContext,ClusterManager,Executor三个部分，其中SparkContext负责管理Application的执行，与Cl

fate_killer_liu_jie·2018-12-18 23:06

推荐频道

sparkcontext