sparkcontext 第16页

使用 jvm-profiler 分析 spark 内存使用

jvm-profiler分析总结参考背景在生产环境中，为了提高任务提交的响应速度，我们研发了类似SparkJobserver的服务，各种类型的spark任务复用已经启动的SparkApplication，避免了sparkContext

breeze_lsw·2020-07-27 11:10

spark写sql语句范例

valsparkSession=SparkSession.builder().appName("createDF2").master("local").getOrCreate()valrdd=sparkSession.sparkContext.textFile

H.U.C.小黑·2020-07-16 06:08

Spark任务提交全流程（简述+全流程）

概略:1.Driver端启动SparkSubmit进程，启动后开始向Master进行通信，此时创建了一个对象（SparkContext），接着向Master发送任务消息2.Master接收到任务信息后，

H.U.C.小黑·2020-07-16 06:08

深入理解spark的工作机制，spark任务提交和执行流程

spark的工作机制：用户在client端提交作业后，会由Driver运行main方法并创建sparkcontext上下文。

有风微冷·2020-07-16 06:26

Spark（Python）学习（三）

RDD编程RDD编程指的是SparkCore编程RDD创建（1）通过文件系统加载数据来创建RDDSpark的SparkContext通过“.textFile()”读取数据，生成内存中的RDD。

雨山林稀·2020-07-16 06:23

spark 异常解决：A master URL must be set in your configuration

通过查看spark的初始化过程，发现在于spark对象在main函数之外创建，则spark中的SparkContext对象在创建过程中传入的SparkConf参数不包含spark.master参数。

ouweiqi·2020-07-16 04:10

spark rdd 和 DF 转换

RDD-》DF有两种方式一、一、InferringtheSchemaUsingReflection将RDD[t]转为一个object,然后todfvalpeopleDF=spark.sparkContext.textFile

lingzhi007·2020-07-16 02:46

Spark1.0.0 运行架构基本概念

SparkApplication的运行架构由两部分组成：driverprogram（SparkContext）和executor。

mmicky20110730·2020-07-15 20:23

Spark疑问1之如何查看sparkContext没有关闭的sc

KeepLearningBigData·2020-07-15 20:17

Spark 的执行过程

启动后SparkContext初始化执行配置和输入数据

stone-zhu·2020-07-15 19:00

Spark SQL数据的读取和存储

此外，当你使用SQL查询这些数据源中的数据并且只用到了一部分字段时，SparkSQL可以智能地只扫描这些用到的字段，而不是像SparkContext.hadoopFile中那样简单粗暴地扫描全部数据。

似梦似意境·2020-07-15 18:40

【PySpark】Spark 2.0系列SparkSession与Spark 2.0之前版本中的SQLContext和HiveContext的联系与区别

SQLContext的使用3.HiveContext的使用4.SparkSession的三种创建方式4.1SparkSession直接builder方式4.2SparkConf的builder方式4.3SparkContext

J小白Y·2020-07-15 17:08

编程的两种方式执行Spark SQL查询（方式二）

{SparkConf,SparkContext}importorg.apache.s

Allen-Gao·2020-07-15 15:52

Spark Sql查询案例

{SparkConf,SparkContext}objectMyJdbcRDDDemo{valconnection=()=>{Class.forName

sinat_41642318·2020-07-15 15:13

sparkstreaming写入hbase,mysql

sparkstreaming的开发流程1.构建StreamingContext，这个类型封装了SparkContext2.从数据源处加载流数据，获取DStream，它封装了rdd3.调用DStream的各种

修水管的·2020-07-15 10:41

小知识整理----SPARK UD函数 udf()与udf.register()的使用

_valvaluerdd=spark.sparkContext.te

xiaolin_xinji·2020-07-15 08:15

Spark RDD 数据到 MySQL

{SparkConf,SparkContext}/***LogApp*/ob

袁河之滨·2020-07-15 00:40

SparkCore 流量统计

{SparkConf,SparkContext}/***LogApp*/objectSparkContextApp{defmain(args:Array[String]):Unit={valsparkConf

袁河之滨·2020-07-15 00:40

Spark编程

SparkContext任何Spark程序的编写都是从SparkContext开始，SparkContext的初始化需要一个SparkConf对象，后

Yuanhui·2020-07-14 19:21

python Spark基础--Rdds Transformation

Rddtransformation对于Rdd的基本操作RddfloatMap,map,filter准备数据集importfindsparkfindspark.init()frompysparkimportSparkConf,SparkContext

Jensen.X·2020-07-14 19:23

Spark自学之路（五）—— RDD常见的转化操作和行动操作

计算RDD中各值的平方frompysparkimportSparkContextsc=SparkContext('local[*]','t

NIUNIU_SUISUI·2020-07-14 19:18

Spark 源码-1

入口sparkshell入口：driverprogram入口：SparkContextworker入口：Worker.scaladriverui入口：(SparkContext)->SparkUI.scala

踏雪寻梅4149·2020-07-14 17:36

SparkStreaming的单词计数案例

{SparkConf,SparkContext}/***需要用到nc-lk9999**//***Createdby

lemonlhy·2020-07-14 13:12

Spark案例练习-打包提交

采取以下的方式一：//1.构建SparkContext上下文对象valconf=ne

那山的狐狸·2020-07-14 13:48

Spark:DAGScheduler原理剖析与源码分析

Job触发流程原理与源码解析wordcount案例解析，来分析SparkJob的触发流程代码：varlinesRDD=sc.textFile('hdfs://')SparkContext中textFile

焦焦^_^·2020-07-14 12:37

Spark入门教程（四）Spark架构原理和调优

Application：用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码Driver：运行Application的main()函数并且创建SparkContext

胖滚猪学编程·2020-07-14 08:45

idea编写spark连接hive

{SparkConf,SparkContext}objectRangeTest{defmain(args:Arra

念念不忘_·2020-07-14 08:29

Spark学习之路（六）——Spark编程基础（RDD）

从文件系统中加载数据：Spark的SparkContext通过TextFile()读取数据生成内存中的RDD（字符串类型）。.

每一天U为明天·2020-07-14 05:33

大数据 --------- ETL日志数据到HBase表中代码思路

思路：1.SparkApp配置：应用的名字 Master运行的位置序列化的格式（在后续的代码中ImmutableBytesWritable需要）2.创建SparkContext对象主要用于读取需要处理的数据

将来嘚将来·2020-07-14 04:23

Spark自学之路（六）——PairRDD（键值对RDD）

下面，先给出一个WordCount.pyfrompysparkimportSparkContextsc=SparkContext('local[*]','test')lines=sc.textFile(

NIUNIU_SUISUI·2020-07-14 02:53

python中，用pyspark读取Hbase数据，并转换为dataframe格式

1、首先需要设置pyspark连接spark的配置，spark连接有sparkcontext和sparksession这两种方式，同时这两种方式之间可以互相转换，连接代码如下：（1）通过SparkConf

_____miss·2020-07-13 15:51

在EMR上执行 java spark sql 读写 s3 csv文件，存储RDS mysql

并写入到s3上csv文件的代码如下：packageorg.example.JavaDemo;importorg.apache.spark.SparkConf;importorg.apache.spark.SparkContext

振兴东北·2020-07-13 13:25

Spark学习—— (4+) SparkContext与SparkSession

SparkContext与SparkSessionSparkContext、SparkSession是对Spark计算集群的一个连接，当我们通过shell启动Spark时，会默认创建，如SparkContext

茵茵的聪聪·2020-07-13 10:23

使用Spark MLlib随机森林RandomForest+pipeline进行预测

{SparkConf,SparkContext}importorg.apache.spark.mllib.linalg.Vectorsimportorg.apache.spark.mllib.regression.LabeledPointimpo

子安·2020-07-13 03:20

如何运行含spark的python脚本

---frompysparkimportSparkConf,SparkContextconf=SparkConf().setMaster("local").setAppName("MyApp")sc=SparkContext

bettesu·2020-07-13 03:49

Spark实战(1) 配置AWS EMR 和Zeppelin Notebook

SparkContext和SparkSession的区别，如何取用？

ZenGeek·2020-07-13 02:55

Spark 任务调度之 Register App

接着Spark任务调度之LaunchDriver，继续介绍Driver启动过程中，当SparkContext初始化时，Driver端注册DriverEndpoint到RpcEnv及Driver向Master

博弈史密斯·2020-07-12 12:00

Spark技术内幕：Executor分配详解

序列图如下：1.SparkContext创建TaskScheduler和DAGSchedulerSparkContext是用户应用和Spark集群的交换的主要接口，用户应用一般首先要创建它。

weixin_34279184·2020-07-12 09:14

Spark技术内幕: Shuffle详解（一）

通过上面一系列文章，我们知道在集群启动时，在Standalone模式下，Worker会向Master注册，使得Master可以感知进而管理整个集群；Master通过借助ZK，可以简单的实现HA；而应用方通过SparkContext

weixin_33862993·2020-07-12 08:55

SparkML实战之一：线性回归

{SparkConf,SparkContext}importorg.apache.spark.mllib.linalg.Vectorsimportorg.apache.spark.mllib.regression

岸芷汀兰whu·2020-07-12 02:30

Spark技术内幕整理------持续更新

整理自博客专栏《Spark技术内幕》SparkContext---从SparkContext开始Executor---------Executor分配详解Master-----------Master的故障恢复

TccccD·2020-07-12 02:16

Spark 消息队列机制源码学习

AsynchronouslypassesSparkListenerEventstoregisteredSparkListeners即所有spark消息SparkListenerEvents被异步的发送给已经注册过的SparkListeners.在SparkContext

sivolin·2020-07-11 23:33

spark的练习题（6）

{SparkConf,SparkContext}objectlistarray{defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName

橙以·2020-07-11 20:54

PySpark内部实现

基本流程PySpark的整体架构图如下，可以看到PythonAPI的实现依赖于Java的API，Python程序端的SparkContext通过py4j调用JavaSparkContext，后者是对Scala

蓝天的IT生涯·2020-07-11 10:16

基因数据处理77之从vcf文件中提取某条染色体的数据

{SparkConf,SparkContext}/***Createdbyxuboon2016/5/23.

KeepLearningBigData·2020-07-11 03:49

IDEA本地执行&调试Spark Application方法

有两种方法：一在创建SparkContext对象时，指定以local方式执行，如下valsc=newSparkContext("local","appname")二修改执行配置，如下当然，运行的前提是将必要的

牛肉圆粉不加葱·2020-07-10 19:45

Spark实现根据学科取得最受欢迎的老师的topn（小根堆和自定义排序实现）

{Partitioner,SparkConf,SparkContext}impor

wlk_328909605·2020-07-10 12:56

scala开发spark使用程序中的集合创建RDD

{SparkConf,SparkContext}objectParallelizeCollection{defmain(args:Array[String]):Unit={//创建conf对象valconf

Hickey wy·2020-07-10 11:18

spark内核揭秘-08-spark的Web监控页面

在SparkContext中可以看到初始化UI代码：//InitializetheSparkUIprivate[spark]valui:Option[SparkUI]=if(conf.getBoolean

weixin_30376163·2020-07-10 06:50

spark 任务运行流程

spark-submit提交Spark应用程序后，其执行流程如下：1在workernode创建Driver进程，Driver创建SparkContext对象，然后SparkContext会向ClutserManager

felix_feng·2020-07-10 03:07

推荐频道

sparkcontext