sparkcontext 第15页

scala中spark错误 Error initializing SparkContext

在做日志分析的时候，spark出现一个很匪夷所思的问题，更新完代码，运行本地环境报错（错误见下），在集群yarn环境正常2017-08-2909:46:30[org.apache.hadoop.util.NativeCodeLoader]-[WARN]Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasses

Mr. XS·2020-07-29 00:11

spark中的SparkContext实例的textFile使用的小技巧

网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建RDD，类似sc.textFile("hdfs://n1:8020/user/hdfs/input")textFile的参数是一个path,这个path可以是：1.一个文件路径，这时候只装载指定的文件2.一个目录路径，这时候只装载指定目录下面的所有文件（不包括子目录下面的文件）3.通过通配符的形式加载多个文件或者加载多个目录下面

xiao_jun_0820·2020-07-29 00:11

Spark的Debug调试

{SparkConf,SparkContext}/***Createdbyrooton2016/5/14.*/objectWordCount{defmain(args:Array

绛门人·2020-07-28 23:28

ElasticSearch操作RDD获取字段

{SparkConf,SparkContext}importorg.elasticsearch.spark.

大数据-刘耀文·2020-07-28 21:26

spark on yarn 运行流程

ResouceManager为该job在某个NodeManager上分配一个ApplicationMaster，NM启动ApplicationMaster，ApplicationMaster启动driver（sparkContext

生活只有苟且·2020-07-28 20:08

Spark 循环迭代式作业与作业间结果传递测试

{SparkConf,SparkContext}objectTestDAGsBC{defmain(args:Array[String]):Unit={valsparkConf:SparkConf=newSparkConf

碣石观海·2020-07-28 20:51

PySpark on Yarn 的 Python 环境与包依赖解决方式

SparkonYarn分为client/cluster模式：对于client模式，Spark程序的Driver/SparkContext实例用户提交机上，该机器可以位于yarn集群之内

weixin_34409703·2020-07-28 19:48

spark调优之内存调优

-driver为主控进程，负责创建sparkContext上下文对象，提交spark作业，并将作业转化为计算任务，在各个executor进程间协调任务的调度（一个） -executor进程，负责为工作节点执行具体的计算任务

weixin_34279246·2020-07-28 19:58

深入理解Spark：核心思想与源码分析. 2.3　Spark基本设计思想

2.3Spark基本设计思想2.3.1Spark模块设计整个Spark主要由以下模块组成：SparkCore：Spark的核心功能实现，包括：SparkContext的初始化（DriverApplication

weixin_33995481·2020-07-28 18:41

关于yarn的spark配置属性

spark1.2.0TheseareconfigsthatarespecifictoSparkonYARNPropertyNameDefaultMeaningspark.yarn.applicationMaster.waitTries10ApplicationMaster链接Sparkmaster和SparkContext

weixin_33943347·2020-07-28 18:09

深入理解Spark：核心思想与源码分析. 3.1　SparkContext概述

3.1SparkContext概述SparkDriver用于提交用户应用程序，实际可以看作Spark的客户端。了解SparkDriver的初始化，有助于读者理解用户应用程序在客户端的处理过程。

weixin_33868027·2020-07-28 18:46

《深入理解Spark：核心思想与源码分析》——SparkContext的初始化（伯篇）——执行环境与元数据清理器...

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章SPARK设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟四篇随笔分别展现。本文展现第3章第一部分的内容：

放错位的天才·2020-07-28 17:38

Spark是如何实现远程Thread Dump 的？

问题研究入口还是从web页面ExecutorThreadDumpPage入手，提供ThreadDump的入口在SparkContext的getExecutorThreadDump方法。

wankunde·2020-07-28 15:27

[spark] spark推测式执行

检测是否有需要推测式执行的Task在SparkContext创建了schedu

大写的UFO·2020-07-28 15:17

Spark 2.0介绍：SparkSession创建和使用相关API

SparkSession——Spark的一个全新的切入点在Spark的早期版本，SparkContext是进入Spark的切入点。

universe_ant·2020-07-28 15:03

spark的内存分配管理

SPARK的内存管理器StaticMemoryManager,UnifiedMemoryManager1.6以后默认是UnifiedMemoryManager.这个内存管理器在sparkContext中通过

隔壁老杨hongs·2020-07-28 14:30

Spark入门实战系列--3.Spark编程模型（上）--编程模型及SparkShell实战

Application）：基于Spark的用户程序，包含了一个DriverProgram和集群中多个的Executor；l驱动程序（DriverProgram）：运行Application的main()函数并且创建SparkContext

下雨天uu·2020-07-28 14:35

RDD应用API---flatMap、map、reduceByKey、collect、foreach

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]){//SparkContext的初始化需要一个SparkConf对象

谛听-·2020-07-28 13:07

Spark动态分配资源

Spark动态分配资源标签（空格分隔）：spark作业调度（JobScheduling）OverView在一个集群中的每一个sparkapplication（一个sparkContext的实例）维持着一系列独立的

terrorblade1235·2020-07-28 12:28

spark--actions算子--collect

{SparkConf,SparkContext}/***Createdbyliupengon2017/6/16.

书灯·2020-07-28 11:33

Spark 单词统计

{SparkConf,SparkContext}/***单词统计*/objectWordCount{//本地运行System.setProperty("hadoop.home.dir

star5610·2020-07-28 11:30

spark的maven项目的pom文件

具体的maven项目的pom文件的内容见：https://mvnrepository.com/注：在2.0以前创建spark的入口对象是通过sparkconf,sparkcontext来创建sc的，2.0

sheep8521·2020-07-28 10:58

pySpark 关于SparkContext和SQLContext等模块

1.pyspark.sql模块是SparkSQLandDataFrames重要的类。pyspark.sql.SparkSession：是DataFrameandSQL的主入口，比如可以createDataFrame.pyspark.sql.DataFrame:分布式的数据集合。pyspark.sql.ColumnDataFrame的列.pyspark.sql.RowDataFrame的行.pysp

rosefunR·2020-07-28 10:23

SparkSQL DataFrame进阶篇

SparkSQLDataFrame进阶篇1.创建SparkSession【2.0】和SQLContext实例【1.x】1.创建SparkSession【2.0】///spark2.0后，用sparksession代替sparkcontext

ihoge·2020-07-28 08:48

spark 累加器实现

因为spark的map的操作是闭包的，所以想对外部变量操作像java一样设置一个外部flag是行不通的，因此可以采用累加器来实现valsd=spark.sparkContext.longAccumulatorvalres

寻寻尼尼·2020-07-28 08:18

scala Array[String]转RDD[String]

本来想统计一下每个单词的个数并进行排序，但是类型是所以查了一下相关材料有两种方法：1）把原有的数据进行数据类型转化Array[String]转RDD[String]valsc=spark.sparkContext.parallelize

回忆19930207·2020-07-28 07:47

Spark学习-2.4.0-源码分析-1-Spark 核心篇-SparkContext

文章目录@[TOC]1、功能描述1.1源码描述2、相关组件3、代码分析3.1初始设置3.2创建执行环境SparkEnv3.3创建SparkUI3.4Hadoop相关配置3.5Executor环境变量3.6注册HeartbeatR`eceiver心跳接收器3.7创建任务调度器TaskScheduler3.8创建和启动DAGScheduler3.9TaskScheduler启动3.10启动测量系统Me

pre_tender·2020-07-28 04:14

Spark从入门到精通第六课：RDD中的常用算子全面剖析

Actions以及持久化算子Transformations：将一个RDD转换成另一个RDD所有的Transformation都是lazy的，只有发生action是才会触发计算Action：这类算子会触发SparkContext

Mr_249·2020-07-28 04:56

spark源码系列（1） SparkContext的初始化

我们先整体画一张spark程序执行的全流程1-2.我们通过spark-submit提交application时候，程序会通过反射的方式创建出一个DriverActor进程出来，Driver进程会创建一个SparkContext

小宝宝的迷你宝·2020-07-28 03:56

初识sparkCore

partition一般有三种方式产生（1）从Scala集合中创建，通过调用SparkContext#makeRDD或SparkContext#parallelize是可以指定partition个数的，若指定了具体

LiryZlian·2020-07-28 03:20

Spark DataFrames入门指南：创建和操作DataFrame

从csv文件创建DataFrame主要包括以下几步骤：1、在build.sbt文件里面添加spark-csv支持库；2、创建SparkConf对象，其中包括Spark运行所有的环境信息；3、创建SparkContext

翔飞天宇·2020-07-28 02:14

spark入门之三 spark job提交

的提交流程，下面介绍sparkjob的提交；以collectjob为例，如上节描述，spark-submit类中runMain方法中经过反射调用了自定义的jar包中的main方法，main方法中初始化sparkcontext

舞舞舞吾·2020-07-28 02:26

Spark的算子的分类

2）Action行动算子：这类算子会触发SparkContext提交Job作业。Action算

kgars1·2020-07-28 01:17

Spark算子实战transforma（Scala）

{SparkConf,SparkContext}objecttransformationOpertion{defmain(args:Array[String]):Unit={map()}defmap()

菜鸟也有梦想啊·2020-07-27 23:50

Spark2.1.0——SparkContext初始化之Spark环境的创建

阅读指导：在《Spark2.1.0——SparkContext概述》一文中，曾经简单介绍了SparkEnv。本节内容将详细介绍SparkEnv的创建过程。

泰山不老生·2020-07-27 19:15

【Spark七十八】Spark Kyro序列化

当使用SparkContext的saveAsObjectFile方法将对象序列化到文件，以及通过objectFile方法将对象从文件反序列出来的时候，Spark默认使用Java的序列化以及反序列化机制，

axxbc123·2020-07-27 19:19

Spark学习笔记(一)

Spark简介基于内存的集群计算框架，用scala程序编写近实时计算迭代DAG(一)spark的关键组件1.Master2.Worker3.SparkContext(客户端)4.CoarseGrainedExecutorBackend

a_victory·2020-07-27 18:52

spark 架构与核心概念

Driver：Spark中的Driver即运行上述Application的main函数并创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境，在Spark

火成哥哥·2020-07-27 18:56

Spark 中 RDD 的创建

{SparkConf,SparkContext}/***从集合(内存)中创建RDD*1、parallelize*2、makeRDD*从底层代码实现来讲，makeRDD方法其实就是parallelize方法

火成哥哥·2020-07-27 18:53

33、Spark内核源码深度剖析之SparkContext原理剖析与源码分析

原理剖析SparkContext原理剖析.png源码解读本系列文章spark版本为1.3.0入口org.apache.spark.SparkContextSparkContext要点TaskScheduler

ZFH__ZJ·2020-07-27 18:35

Spark2.2源码剖析——SparkContext初始化及Spark环境创建

阅读指导：在《Spark2.2——SparkContext概述》一文中，曾经简单介绍了SparkEnv。本节内容将详细介绍SparkEnv的创建过程。

Jorocco·2020-07-27 16:13

【Spark】SparkContext源码解读

SparkContext的初始化SparkContext是应用启动时创建的Spark上下文对象，是进行Spark应用开发的主要接口，是Spark上层应用与底层实现的中转站（SparkContext负责给

JasonDing1354·2020-07-27 15:19

大数据，之spark入门之一：spark组件

2：SparkContext对象可以视为Spark应用程序的入口，主程序被称为driverprogram，SparkContex

BAO7988·2020-07-27 14:56

Spark中RDD的函数传递——实现Serializable序列化

原理：初始化工作是在Driver程序中（构建SparkContext的类）进行，但是实际执行是在Worker节点中的Executor中进行的；当Executor端执行时需要用到Driver端封装的class

攻城狮Kevin·2020-07-27 14:14

Spark系列(三)SparkContext分析

SparkContext初始化流程图其它说明：在createTaskScheduler会根据不同的提交模式创建backend对象(如本地模式为LocalBackend)。

weixin_30566063·2020-07-27 13:55

《深入理解SPARK：核心思想与源码分析》——SparkContext的初始化（仲篇）——SparkUI、环境变量及调度...

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章SPARK设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟四篇随笔分别展现。《深入理解Spark：核心思想

weixin_30457551·2020-07-27 13:19

spark监控

Web界面默认情况下，每个SparkContext都会在端口4040上启动WebUI，以显示有关应用程序的有用信息。这包括：调度程序阶段和任务的列表RDD大小和内存使用情况的摘要环境信息。

有梦想的人不睡觉121·2020-07-27 12:01

spark入门之一 spark组件