SparkConf 第13页

Spark本地调试和远程调试

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]):Unit={//创建SparkConf并设置App名称valconf

Felix_CB·2019-02-14 16:02

wordCount scala

{SparkConf,SparkContext}importorg.apache.log4j.

朱健强ZJQ·2019-02-02 14:24

在java代码中运行spark任务报异常org.apache.spark.SparkException: Task not serializable

运行如下java程序代码会报未序列化的异常importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD;importorg.apache.spark.api.java.JavaRDD

冯子玉·2019-01-31 11:21

Spark中JavaRDD与JavaPairRDD的相互转换

一：方法JavaRDD=>JavaPairRDD：通过mapToPair函数JavaPairRDD=>JavaRDD：通过map函数转换二：代码实例如下importorg.apache.spark.SparkConf

脚踏实地，仰望星空·2019-01-22 14:43

SparkConf、spark-submit以及spark-defaults.conf

北风网spark学习笔记SparkConf、spark-submit以及spark-defaults.confspark-submit脚本会自动加载conf/spark-defaults.conf文件中的配置属性

htfenght·2019-01-14 16:47

Spark参数详解一（Spark1.6）

注意，只有通过spark-defaults.conf,SparkConf,或者commandline配置过的属性才会出现。

lillcol·2019-01-05 10:00

spark-core 综合练习(广播变量,join的使用)

{SparkConf,SparkContext} /** *Desc: *数据说明： *users.dat---UserID::Gender::Age::Occupation:

LJ2415·2018-12-20 00:00

scala-wordcount详解

{SparkConf,SparkContext}/***@Date:2018/12/179:03*/objectwc_scala{defmain(args:Array[String]):Unit={valconf

S_Running_snail·2018-12-18 15:45

java 版spark 中的map算子的使用

importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext

LJ2415·2018-12-13 13:46

统计每个学科最受欢迎的老师前N名

{Partitioner,SparkConf,SparkContext}importscala.collection.mutable/***统计每个学科最受欢迎的老师前N名**利用TreeSet进行数据优化

LJ2415·2018-12-11 22:19

Scala入门案例---Wordcount

{SparkConf,SparkContext}objectScalaWordCount{defmain(args:Array[String]):Unit={if(args.size!

码动乾坤·2018-12-04 01:03

用spark实现单词统计

{SparkConf,SparkContext}/***用spark实现单词统计*/objectSparkWordCount{defmain(args:Array[String]):Unit={/***

哪有天生的学霸，一切都是厚积薄发·2018-12-03 20:59

pyspark学习之自定义分区

frompysparkimportSparkContext,SparkConfconf=SparkConf()sc=SparkContext(conf=conf)defMyPartition(x):s

植与恋恋·2018-12-02 14:56

Spark的四大运行模式以及原理

java代码如下：importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD;

Superman404·2018-11-21 15:56

spark作业配置及spark-submit参数说明

在程序中的SparkConf中指定，如conf.setAppName(“myspark”)。spark-submit中使用参数。

山木枝·2018-11-20 19:54

（十二）Spark Core求IP访问次数的TopN

String]):Unit={valsparkConf=newSparkConf().setAppName("test").setMaster("local[2]")valsc=newSparkContext(sparkConf

白面葫芦娃92·2018-11-12 16:02

黑猴子的家：Spark Streaming 消费 kafka topic

{SparkConf,SparkContext

黑猴子的家·2018-11-07 09:00

SparkStreaming 数据实时处理

SparkStreaming1、创建一个SparkConf()2、新建SparkContext3、新建StreamingContext(SparkContext,time间隔)4、|->socketTextStream

Round_Yuan·2018-10-25 09:56

spark中map与flatMap的区别

{SparkConf,SparkContext}objectMapAndFlatMap{defmain(args:Array[String]):Unit={valsc=newSparkCon

wubinghuan·2018-10-24 21:00

spark中广播变量的使用

{SparkConf,SparkContext} /** *Createdbyzx

李泽辰·2018-10-22 00:00

java使用spark2开发本地测试的wordCount程序

importjava.util.Arrays;importjava.util.HashMap;importjava.util.Iterator;importjava.util.Map;importorg.apache.spark.SparkConf

璃鹿·2018-10-17 11:05

【Spark内核源码】SparkConf，Spark的配置管控

目录概述从系统中获取并设置配置信息使用SparkConf提供的方法设置配置信息通过克隆的方式设置配置信息总结概述SparkConf，以KEY-VALUE对的形式设置Spark的配置参数。

lazy_moon·2018-10-15 20:55

sparkSql demo I （sql方式）

{SparkConf,SparkContext}/***sparksql版本1.1x*sparksql第一个demo*/objectSparkSqlDe

念念不忘_·2018-10-05 18:48

大数据学习之路85-spark2.0中的DataSet和DataFrame简介

DataSet是spark2.0提出来的新东西，我们来玩一下：这次我们就不用SparkContext了，所以我们也不需要SparkConf了。

爱米酱·2018-09-29 21:44

spark 通过 scala 读取数据并且存入 mysql

{SparkConf,SparkContext}//把每个jsp的访问量，直接保存到Oracle数据中//spark-submit--masterlocal--classSaveMySQLSaveSQL

李景山-编程者·2018-09-27 10:37

SparkStreaming

{SparkConf,SparkContext}objectStreamingWC{defmain(args:Array[String]):Unit={//StreamingContextvalconf

Cookie_fzx·2018-09-26 22:36

Spark学习笔记：Spark Streaming与Spark SQL协同工作

{Level,Logger} importorg.apache.spark.SparkConf impo

SetsunaMeow·2018-09-19 17:48

Spark操作数据库API

{SparkConf,SparkContext}objectIPLocation{valdata2MySQL=(iterator:Iterator[(String,Int)])=>{varconn:Conn

Cookie_fzx·2018-09-18 21:49

Spark 连接数据库

MySQL读取valsparkConf=newSparkConf().setMaster("local[2]").setAppName("JdbcApp")valsc=newSparkContext(sparkConf

Yuan_CSDF·2018-09-18 14:05

Spark 创建RDD (集合，本地文件，hdfs文件)基础数据源

本文主要记录一些基础数据源转换成为RDD的案例仅供参考1.集合类转换为RDDimportjava.util.Arrays;importjava.util.List;importorg.apache.spark.SparkConf

H.King·2018-09-12 14:20

Spark源码研读-散篇记录（一）：SparkConf

3SparkConf源码SparkConf的源码相对不难，主要是对Spark本身要有所理解，同时Scala也应该要有所掌握，那么看起来就不太复杂，只看了比较

xpleaf·2018-09-09 23:40

spark学习-30-spark2.2.0的SparkContext初始化

１sparkContext的主要构造器参数为SparkConf,实现如下classSparkContext(config:SparkConf)extendsLogging{//ThecallsitewherethisSparkCont

九师兄-梁川川·2018-09-06 15:13

Spark设置任务个数

{SparkConf,SparkContext}importorg.elasticsearch.spark.sql.EsSparkSQLobjectData2ES{defmain(args:Array[

abc_321a·2018-08-24 16:03

Spark Streaming-WordCount程序

publicclassWordCount{publicstaticvoidmain(String[]args)throwsException{//创建SparkConf对象//但是这里有一点不同，我们是要给它设置一个

Anbang713·2018-08-23 08:21

纯手写一个spark应用程序：WordCount（Scala 代码实现）

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]){/**第一步，创建spark的配置信息对象sparkconf，设置

何以笙-lb·2018-08-20 14:03

关于spark运行FP-growth算法报错

Version1.0*@FileName:SparkJavaCluster.FPDemo_Cluster2.java*@Software:IntelliJIDEA*/importorg.apache.spark.SparkConf

GameOverTryAgain·2018-08-17 16:47

spark之word2vec使用(python)

SQLContextfrompyspark.sqlimportSparkSessionfrompyspark.ml.featureimportWord2Vec,CountVectorizerconf=SparkConf

walk walk·2018-08-15 09:59

spark map flatMap flatMapToPair mapPartitions 的区别和用途

importakka.japi.Function2;importorg.apache.spark.HashPartitioner;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD

hellozhxy·2018-08-14 19:00

Spark SerializedLambda错误解决方案

例子importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext

dounine·2018-08-13 21:04

Spark的RDD操作和描述_2

Cartesian算子1.1，Java代码实现packagecom.lyl.it;importjava.util.Arrays;importjava.util.List;importorg.apache.spark.SparkConf

IT影风·2018-08-02 15:23

Spark实现分组取 top N 示例 —— Scala版

{SparkConf,SparkContext}/***数据样本如下：anhuihe

* star *·2018-07-29 20:15

SparkConf 配置的用法

SparkConf配置的用法Spark应用程序的配置，用于将各种Spark参数设置为键值对。

泽泽馥泽泽·2018-07-24 14:59

PySpark tutorial 学习笔记4——SparkConf，SparkFiles，StorageLevel

SparkConf要在本地/集群上运行Spark应用程序，需要设置一些配置和参数，这是由SparkConf提供的。它提供运行Spark应用程序的配置。

daisyyyyyyyy·2018-07-24 10:53

Spark常用transformation算子操作 —— Scala版

{SparkConf,SparkContext}/***笛卡尔积cartesian算子*Createdbyasuson2018/7/15.

* star *·2018-07-22 19:32

Spark常用action算子操作 —— Scala版

{SparkConf,SparkContext}/***Createdbyasuson2018/6/17.

* star *·2018-07-21 08:24

Spark常用transformation算子操作 —— Java版

cartesian算子packagerddDemo.transformation;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD

* star *·2018-07-20 20:27

Spark常用action算子操作 —— Java版

collect算子packagerddDemo.action;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD

* star *·2018-07-20 20:40

Spark整合Elasticsearch-从ES读取数据

{SparkConf,SparkContext}impo

性本爱丘山·2018-07-20 00:00

Spark的RDD操作和描述_1

Map算子1.1Java代码实现packagecom.lyl.it;importjava.util.Arrays;importjava.util.List;importorg.apache.spark.SparkConf

IT影风·2018-07-19 11:50

spark Streaming 直接消费Kafka数据，保存到 HDFS 实战编程实践

StreamingContext={valsparkConf=newSparkConf().setAppName("myStreamingText").setMaster(ConfigInfo.MasterConfig)sparkConf.set

Asd_ots·2018-07-16 21:13

推荐频道

SparkConf