sparkcontext 第10页

sparkSQL之数据源读取parquet、json、csv案例

{SparkConf,SparkContext}/***CreatedbyAdministratoron2017/2/3.

xuehuagongzi000·2020-09-13 07:40

spark sql 统计pv uv

{SparkContext,SparkConf}casecla

小码哥_6·2020-09-13 07:58

Spark 中任务调度机制

Driver线程主要是初始化SparkContext对象，准备运行所需的上下文，然后一方面保持与ApplicationMaster的RPC连接，通过ApplicationMaster申请资源，另一方面根据用户业务逻辑开始调度任务

火成哥哥·2020-09-12 08:33

我的Spark源码核心SparkContext走读全纪录

我的Spark源码核心SparkContext走读全纪录DirverProgram(SparkConf)packageorg.apache.spark.SparkConfMasterpackageorg.apache.spark.deploy.masterSparkContextpackageorg.apache.spark.SparkContextStagepackageorg.apache.s

weixin_34270606·2020-09-12 07:27

Spark的不同ClusterManger提交任务的执行流程

Application：用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码Driver：运行Application的main()函数并且创建SparkContext

叫我不矜持·2020-09-12 02:44

Spark之SparkSession

在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。对于每个其他的API，我们需要使用不同的

JasonQ_NEU·2020-09-11 22:56

Spark源码解读之Master剖析

在上篇文章中我们剖析了SparkContext创建启动的整个流程，但是在创建SparkContext之后，TaskScheduler是如何向master注册application，以及master是如何调度

不清不慎·2020-09-11 15:30

pyspark : NameError: name 'spark' is not defined

Solarzhou·2020-09-11 13:53

spark大数据分析:spark Struct Strreaming(23)去除重复数据

_spark.sparkContext.setLogLevel("WARN")vallines=spark.readStream.format("socket").option("host",

_尽_际·2020-09-11 11:27

spark简单入门案例wordCount

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]):Unit={//alt+上箭头向上拉取//todo:1.创建sparkConf

雪欲来的时候·2020-09-11 11:29

Spark的Wordcount程序图文详解！

packagecn.spark.study.coreimportorg.apache.spark.SparkConfimportorg.apache.spark.SparkContext/***@authorAdministrator

小夙o·2020-09-11 11:55

spark 2.2.0 scala eclipse运行wordcount 例子

mp.csdn.net/mdeditor/84717937#1在runcount.scala中写入代码importorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext

小白programmer·2020-09-11 11:20

eclipse上运行spark程序

项目结构图源代码importorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext.

weixin_30530523·2020-09-11 10:48

Spark的简单使用之WordCount统计

二、计算代码scala>valfile=spark.sparkContext.textFile("file:///root/Desktop/wc.txt")#文件路径scala>valWordCounts

连接数据库·2020-09-11 10:40

Spark各个版本WordCount介绍

WordCount介绍spark分为3种数据类型：RDD,DataSet,DataFrame下面介绍使用3种不同数据类型的WordCount程序初始数据集：a,bc,ad,ba,d1.初始变量类型RDD使用SparkContext

丰brother·2020-09-11 10:02

Spark 实现word count

API[SparkContext]Spark程序的入口点，封装了整个spark运行环境的信息。

一只小菜鸟(*￣︶￣)·2020-09-11 09:53

本地运行spark wordcount

{SparkConf,SparkContext}objectScalaWordCount{defmain(args:Array[String]):Unit={//创建spark配置，设置应用程序名字//

辜智强 -buaa·2020-09-11 09:04

SparkWordCount和JavaWordCount

{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDobjectSparkWordCount{defmain(args:Array[String]

lv_yishi·2020-09-11 09:52

Spark集群上跑wordcount

{SparkConf,SparkContext}/***scala：是一个强类型语言*模板代码*/objectSparkWC{defmain(args:Array[St

lds_include·2020-09-11 09:09

spark组件详细介绍

Spark应用程序在集群上作为独立的进程集合运行，由主程序(称为驱动程序)中的sparkContext对象与Spark集群进行交互协调每个application（应用程序）有自己的executor进程，

Nurbiya_K·2020-09-11 07:51

Intellij IDEA构建Spark2.0以上工程示例

IntellijIDEA新建Spark2.0以上Maven工程示例长时间不用IDEA新建工程，新建的步骤都忘记了，再次记录一下，Spark新版中SparkSession需要依赖的包与SparkContext

巴拉巴拉朵·2020-09-11 07:47

IDEA 使用Maven创建Spark WordCount经典案例

{SparkConf,SparkContext}objectScalaWorkCount{defmain(args:Array[String]):Unit={//创建spark配置，设置应用程序名字valconf

MarkerJava·2020-09-11 07:04

Spark中利用Scala进行数据清洗（代码）

{SparkConf,SparkContext}89objectLogAna

dianhe8193·2020-09-11 07:16

Spark word count 实例

{SparkConf,SparkContext}/***Createdbyxxxoooon8/29/2016.*/objectWordCount{defmain(args:Ar

dgsdaga3026010·2020-09-11 07:16

本地调试spark程序

{SparkConf,SparkContext}objectSca

weixin_43866709·2020-09-11 06:58

spark读取多个目录下多个文件

HDFS上的目录结构如下:A/20190101/2019010100A/20190101/2019010101B/20190101/2019010100B/20190101/2019010101方法1：使用sparkContext.read.text

weixin_42412645·2020-09-11 05:54

Spark中的编程模型

Application:基于Spark的用户程序，包含了一个driverprogram和集群中多个executorDriverProgram：运行Application的main()函数并创建SparkContext

weixin_34195364·2020-09-11 05:08

spark实现wordcount的几种方式总结

{SparkConf,SparkContext}/***WordCount实现第一种方式:map+reduceByKey**@author陈小哥cw*@date2020/7/99:5

陈小哥cw·2020-09-11 02:47

Spark基础概念（2）

valsc=newSparkContext("spark://localhost:7077","ApplicationName","SPARK_HOME","Your_APP_Jar")//创建操作：SparkContext

MingYueZh·2020-09-10 11:37

SparkSQl的使用

setAppName("SaparkDemo1").setMaster("local[*]")//创建sparksql的连接（程序执行的入口）valsc=newSparkContext(conf)//sparkContext

不愿透露姓名的李某某·2020-08-26 23:14

spark core实现groupByKeyAndSortByValue

常见的做法可能是spark.sparkContext.textFile("path").map(line=>{vallineArr=line.split("\t")(line

Cu提·2020-08-26 14:32

用Spark实现多种方式的排序

{SparkConf,SparkContext}objectSortcust01{defmain(args:Array[String]):Unit={valconf=newSparkConf().setMaster

不愿透露姓名的李某某·2020-08-26 13:11

Spark的原理和部署（一），local

参考书籍：HadoopSpark大数据巨量分析与机器学习林大贵spark的cluster模式架构图，其中：DriverProgram就是程序员所设计的Spark程序，在Spark程序中必须定义sparkcontext

冷昕·2020-08-25 17:23

Spark中分区使用

{HashPartitioner,Partitioner,SparkConf,SparkContext}importscala.collection.mutable/***Createdbyrooton2016

绛门人·2020-08-24 18:08

RDD编程

Paste_Image.png2.一般常用的是从外部存储中读取来创建RDD，如SparkContext.textFile()。

hz82114280·2020-08-24 17:07

Spark学习笔记2：RDD编程

{SparkConf,SparkContext}objectword{defmain(args:Array[String]):Unit={valconf=newSparkConf().setMaster

wangyunfeis·2020-08-24 16:50

GraphX图的创建

如何构建图GraphX构建图的方式很简单，分为3步：构建边RDD构建顶点RDD生成Graph对象valmyVertices:RDD[(Long,String)]=spark.sparkContext.makeRDD

AGUILLER·2020-08-24 16:22

Spark第一个程序开发 wordcount

{SparkContext,SparkConf}/***CreatedbyAdministratoron2016/7/240024.

大冰的小屋·2020-08-24 16:24

pyspark学习系列（四）数据清洗

SparkContextfrompyspark.sqlimportSparkSessionfrompyspark.sqlimportSQLContextfrompyspark.sql.typesimport*spark=SparkSession.builder.appName("lz").getOrCreate()sc=SparkContext

仙人掌_lz·2020-08-24 15:16

[Spark]自定义RDD

{Partition,SparkContext,TaskContext}importscala.reflect.ClassTagimportorg.apache.spark.rdd.

adream307·2020-08-24 13:10

IDEA读取本地文件进行处理的方式

{SparkContext,SparkConf}objectWordCount{defmain(args:Array[String]){//第一步：spark运行的环境，这个是必须的步骤valconf=

legotime·2020-08-24 08:46

spark算子--action篇

transformation又叫转换算子，它从一个RDD到另一个RDD是延迟执行的，不会马上触发作业的提交，只有在后续遇到某个action算子时才执行；action算子会触发SparkContext提交

钓的不是鱼·2020-08-24 05:56

Spark Core源码精读计划#8：SparkEnv中RPC环境的基础构建

端点及其引用RpcEndpointRpcEndpoint继承体系RpcEndpointRefNettyRpcEnv概况创建NettyRpcEnvNettyRpcEnv中的属性成员总结前言在之前的文章中，我们由SparkContext

LittleMagic·2020-08-24 00:18

Spark中加载本地（或者hdfs）文件以及SparkContext实例的textFile使用

广告部分（首先宣传一下本人的微信公众号，可直接跳过本部分阅读正文）：首席安全官Plus是一个围绕“大数据、云计算和人工智能”高技术领域，发布相关网络安全前沿技术和产业趋势的平台，努力打造“有特色、高水平、国际化”的网络安全思想高地。如投稿，请发送到：[email protected]。Spark默认是从hdfs读取文件，也可以指定sc.textFile("路径")中的路径，在路径前面加上hdfs://

首席安全官·2020-08-23 22:30

Scala中自定义累加器的使用

{AccumulatorParam,SparkConf,SparkContext}objectCustomAccumulatorextendsAccumulatorParam[String]{overridedefzero

掏粪工·2020-08-23 19:44

pyspark使用教程（二）

RDD批处理参考https://blog.csdn.net/u013719780/article/details/51768720运行环境：个人电脑frompysparkimportSparkConf,SparkContext

卓玛cug·2020-08-23 11:35

Spark源码学习笔记3-LiveListenerBus

继2-JobProgressListener之后，我们再来看看SparkContext构造函数中的listenerBus:LiveListenerBus，JobProgressListener在SparkContext

lzy2014·2020-08-23 08:54

Spark: sortBy sortByKey 二次排序

{SparkConf,SparkContext}importscala.ref

Wang_Qinghe·2020-08-23 03:20

Spark Core 自定义排序、分区

{SparkConf,SparkContext}//自定义排序objectCustomSortTest{defmain(args:Array[String]):Unit={valconf=n

weixin_43969505·2020-08-23 03:09

Spark实现二次排序的第二种方式

{SparkConf,SparkContext}objectWordCount{def

王凯凯之猿·2020-08-23 03:41

推荐频道

sparkcontext