sparkcontext

初识Spark之 Spark API

Spark的API主要由两个抽象部件组成：SparkContext和RDD，应用程序通过这两个部件和Spark进行交互，连接到Spark-集群并使用相关资源。1.SparkC
13157330443·2019-11-27 21:05

Spark入门

{SparkConf,SparkContext}objectSparkWordCount{defFILE_NAME:String="word_count_results_";defmain(args:Array
响响月月·2019-11-26 19:31

三、spark--spark调度原理分析

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]):Unit={//创建spark配置文件对象.设置app名称，master
隔壁小白·2019-11-15 18:46

Spark Multi Tenancy系列 - 3 项目简介

likeMulti-tenancySparkThriftServerSupportingImpersonationandMulti-SparkContexthttps://github.com/yaooqinn/multi-tenancy-spark项目特性支持静态和动态两种多租户模式（TestonlyOnYARN)支持SparkContext
Kent_Yao·2019-11-02 15:11

Spark Python API Docs(part one)

Publicclasses:SparkContext:Spark功能的主要入口点。RDD:弹性分布式数据集（RDD），Spark中的
盗梦者_56f2·2019-10-31 01:19

启动Spark时遇到的HDFS user的读写权限问题：ERROR spark.SparkContext: Error initializing SparkContext. org.apache...

之前在为客户做数据湖产品调试Spark程序的时候，遇到过一个报错：ERRORspark.SparkContext:ErrorinitializingSparkContext.org.apache.hadoop.security.AccessControlException
alexlee666·2019-10-17 21:15

Spark 累加器和广播变量

累加器的用法如下所示:通过在驱动器中调用SparkContext.accu
Nice·2019-09-27 12:25

SparkSession与SparkContext SparkConf SQLContext HiveContext StreamingContext

SparkSession就是设计出来合并SparkContext和SQLContext的。我建议能用SparkSession就尽量用。
dufufd·2019-09-26 18:06

PySpark Rdd操作

frompysparkimportSparkContext,SparkConfconf=SparkConf().setAppName("rdd_trans")sc=SparkContext(conf=conf
Npcccccc·2019-09-23 15:28

spark graphx图计算

{SparkConf,SparkContext}//求共同好友objectCommendFriend{defmain(args:Array[String]):Uni
lilixia·2019-09-19 20:00

Spark大数据学习（1）--Spark中SparkSession的Dataframe操作

今天我们来学习一下Spark中的SparkSessionSparkSession是SparkContext对象的一个封装，可以通过SparkSession访问到SparkContext。
gezigezao·2019-09-18 20:11

spark笔记之通过spark实现点击流日志分析案例

{SparkConf,SparkContext}objectPV{defmain(args:Array[String]):Unit={//todo：创建sparkconf，设置appName//todo
qq5d3e5bae55f08·2019-09-18 14:28

Spark RDD的持久化与设置检查点

{SparkConf,SparkContext}objectCacheDemo{defmain(args:Array[String]):Unit={va
丶kino丶·2019-09-17 21:33

Spark大数据学习（1）--Spark连接HIVE进行SQL查询

1.Spark可以连接Hive进行SQL查询，目前我了解的有如下两种（1）构建SparkContext,创建HiveContext对象，连接hive进行查询（2）直接采用SparkSession方式，enableHive2
gezigezao·2019-09-13 21:57

Spark 用Scala和Java分别实现wordcount

{SparkConf,SparkContext}objectwordcount{defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName
Alcesttt·2019-09-02 19:00

spark 实现多文件输出

{SparkConf,SparkContext}obj
Alcesttt·2019-08-23 19:00

【大数据】Java同学入门Spark编程 —— 深入分析Spark任务调度的原理

【一】概述【Spark任务执行流程】用户创建SparkContext，SparkContext连接到ClusterManager实例Cl
陌北有棵树·2019-08-23 17:48

Githup项目LearningSpark代码讲解（九）

{SparkConf,SparkContext}/***这个类挺重要的前面我们讲了，DStream的
刺青LOVELESS·2019-08-22 16:43

Githup项目LearningSpark代码讲解（八）

{SparkConf,SparkContext}importstreaming.util.CSVFileStreamGeneratorimportscala.util.Random////Filebasedstream
刺青LOVELESS·2019-08-22 15:29

Githup项目LearningSpark代码讲解（七）

{SparkConf,SparkContext}importscala.collection.mutable/***这个类讲解了一个Spark实现分布式队列的例子*@paramsc*@param
刺青LOVELESS·2019-08-21 11:04

Streaming+Sparksql使用sql实时分析 rabbitmq+mongodb+hive

SparkConfsparkConf=newSparkConf()//此处使用一个链接切记使用一个链接否则汇报有多个sparkcontext错误.setAppName("SparkConsumerRabbit
一颗小白菜灬·2019-08-13 10:00

groupByKey ()根据key聚合

{HashPartitioner,Partitioner,SparkConf,SparkContext}objectTrans{defmain(args:Array[S
比格肖·2019-07-30 22:40

SparkSession、SparkContext、SQLContext和HiveContext之间的区别。

SparkContext是什么?驱动程序使用SparkContext与集群进行连接和通信，它可以帮助执行Spark任务，并与资源管理器(如YARN或Mesos)进行协调。
lillcol·2019-07-23 17:00

Spark Week1 HomeWork

packagewikipediaimportorg.apache.spark.SparkConfimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext
shayue111·2019-07-23 09:00

Spark 初始化对象

Spark1+和Spark2+初始化SparkContext有所区别，现列出Spark1.5.1和Spark2+中初始化sc方式：1.Spark2+先创建一个SparkSession对象:通过config
daoxu_hjl·2019-07-21 00:00

Java Spark 简单示例（七） RDD分区 分区划分器

大数据学习交流微信群更多RDD的信息参考：https://www.cnblogs.com/qingyunzong/p/8899715.html分区在Spark程序中，RDD是由SparkContext上下文生成的
憨人Zoe·2019-07-12 18:48

Spark机器学习算法实操——LinearRegression

配置Spark和Hive之间的通信Spark内部可以直接让SparkContext从hdfs上获取数据（保证和集群
coder_Gray·2019-07-12 15:05

Spark机器学习算法实操——LinearRegression

配置Spark和Hive之间的通信Spark内部可以直接让SparkContext从hdfs上获取数据（保证和集群
coder_Gray·2019-07-12 15:05

spark进行svd降维和kmeans聚类

importjiebaimportjieba.analyseimportjieba.possegaspsegfrompysparkimportSparkConf,SparkContext,SQLContextfrompyspark.ml.featureimportWord2Vec
walk walk·2019-07-12 10:06

广播变量

classGacXs6Offline@Inject()(sparkConf:SparkConfiguration,mysqlConf:MysqlConfiguration,hbaseConf:HbaseConfiguration,sparkContext
焉知非鱼·2019-07-10 14:15

广播变量

classGacXs6Offline@Inject()(sparkConf:SparkConfiguration,mysqlConf:MysqlConfiguration,hbaseConf:HbaseConfiguration,sparkContext
焉知非鱼·2019-07-10 14:15

Spark每日半小时（37）——Spark Streaming：（下）

我们必须使用StreamingContext正在使用地SparkContext创建SparkSession。此外，必须如此，才可以在驱动器故障时重新启动。
DK_ing·2019-07-08 14:41

Spark 源码分析（七）: DAGScheduler 源码分析1（stage 划分算法）

前面几篇文章已经说清楚了从spark任务提交到driver启动，然后执行main方法，初始化SparkContext对象。
stone_zhu·2019-07-03 17:34

Spark开发实例（编程实践）

无论采用哪种模式，只要启动完成后，就初始化了一个SparkContext对象（SC），同时
QYUooYUQ·2019-06-29 17:37

Spark Streaming 架构原理分析

4、JobGenerator组件5、JobScheduler组件1、StreamingContextstreamingContext是sparksteaming程序入口，类似sparkcore程序创建sparkContext
tamir_2017·2019-06-23 22:20

Spark 总结 一

spark总结一一、Spark简介RDD的解释二、Spark的核心概念2.1名词解释2.1.1ClusterManager2.2.2Worker2.2.3Driver2.2.4Executor2.2.5SparkContext2.2.6RDD2.2.7DAGScheduler2.2.8TaskScheduler2.2.9Stage2.2.10Task2.2.11Transformations2.2
baiyabai·2019-06-21 19:54

Spark应用开发（上）

master--worker）,95%的大数据架构都是主从式hadoop-yarn:Yarn:主节点:resourcemanager管理整个集群的资源从节点：nodemanager管理每个服务器的资源sparkcontext
SkinnyTracy·2019-06-21 00:00

Spark2.x源码阅读之SparkContext

本文主要介绍SparkContext中的主构造方法里面的内容，即初始化过程，其中调用的方法留到后面讲解。
LMRzero·2019-06-19 09:55

spark快速大数据分析之学习记录（四）

题外话：这是一个“连载”，主要用于记录并监督我每周的Spark学习进程一、初始化SparkContext【基于python】1.新建一个py文件，用于存放python脚本（备注：我在桌面建了一个文件夹py
KYkankankan·2019-06-18 00:19

Spark每日半小时（17）——文本文件

1、读取文本文件只需要使用文件路径作为参数调用SparkContext中的textFile()函数，就可以读取一个文本文件，如下例。如果要控制分区数的话，可以指定minPartitions。
DK_ing·2019-06-16 19:04

Spark每日半小时（17）——文本文件

1、读取文本文件只需要使用文件路径作为参数调用SparkContext中的textFile()函数，就可以读取一个文本文件，如下例。如果要控制分区数的话，可以指定minPartitions。
DK_ing·2019-06-16 19:04

大话Spark(6)-源码之SparkContext原理剖析

SparkContext是整个spark程序通往集群的唯一通道，他是程序的起点，也是程序的终点。
anjujie7320·2019-06-11 23:00

Pyspark学习之Broadcast广播变量

Broadcast广播变量的使用规则：1.可以使用SparkContext.broadcast([初始值])创建2.使用.value的方法来读取广播变量的值3.Broadcast广播变量被创建后不能修改
SufferingButSinging·2019-06-05 19:52

在idea中编写好程序并打包到spark集群测试

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]):Unit={//1.创建配置信息valconf=newSparkConf
Jacquelin_1·2019-05-31 18:08

Spark 之 SparkContext 原理剖析

代码下载于github，使用分支是origin/branch-2.4Driver进程被启动时，会实例化SparkContext对象，然后SparkContext在构建DAGScheduler和TaskScheduler
DeaSun·2019-05-30 14:19

Spark每日半小时（2）——初识Spark基于Java的开发

这里我们用到的Maven工程，管理Spark的依赖：org.apache.sparkspark-core_${spark.scala.version}${spark.version}provided初始化SparkContext
DK_ing·2019-05-29 20:31

Spark每日半小时（2）——初识Spark基于Java的开发

这里我们用到的Maven工程，管理Spark的依赖：org.apache.sparkspark-core_${spark.scala.version}${spark.version}provided初始化SparkContext
DK_ing·2019-05-29 20:31

SparkContext和spark-shell

文章目录SparkContext&SparkConf使用IDEA构建Spark应用程序spark-shell参数使用深度详解如何使用spark-shell？
liweihope·2019-05-25 10:47

Spark SQL有关broadcast join的不生效问题2

SparkSession.builder().appName("BroadCastJoinLLocalDebug").master("local[*]").getOrCreate() valsc=spark.sparkContext
javartisan·2019-05-21 00:00

spark集群模式的概述(cluster mode overview)

spark.apache.org/docs/latest/cluster-overview.htmlComponentspark应用程序以独立进程的集合的方式运行在集群中，通过driverprogram中的SparkContext
小朋友2D·2019-05-17 14:41
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他