SparkConf

Spark 用Scala和Java分别实现wordcount

{SparkConf,SparkContext}objectwordcount{defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName
Alcesttt·2019-09-02 19:00

Spark学习笔记 ---workConut

1.简单的解释：1.SparkConf:SparkConfconf=newSparkConf();conf.setMaster("local[5]");conf.setAppName("WordConuts
wudonglianga·2019-08-28 00:16

spark 实现多文件输出

{SparkConf,SparkContext}obj
Alcesttt·2019-08-23 19:00

Githup项目LearningSpark代码讲解（九）

{SparkConf,SparkContext}/***这个类挺重要的前面我们讲了，DStream的
刺青LOVELESS·2019-08-22 16:43

Githup项目LearningSpark代码讲解（八）

{SparkConf,SparkContext}importstreaming.util.CSVFileStreamGeneratorimportscala.util.Random////Filebasedstream
刺青LOVELESS·2019-08-22 15:29

Githup项目LearningSpark代码讲解（七）

{SparkConf,SparkContext}importscala.collection.mutable/***这个类讲解了一个Spark实现分布式队列的例子*@paramsc*@param
刺青LOVELESS·2019-08-21 11:04

Spark kryo序列化

kryo的用法：valsparkConf:SparkConf=newSparkCon
chilai4545·2019-08-19 22:00

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

敲黑板，引入的依赖一定要“compile”或则“runtime”，否则sparkconf无法初始化，这辈子也运行不了，千万不要是“provided".org.apache.sparkspark-sql_
devcy·2019-08-16 18:32

利用PySpark进行迁移学习的多类图像分类

PySpark提供的类1、pyspark.SparkConfpyspark.SparkConf类提供了对一个Spark应用程序配置的操作方法。用于将各种Spark参数设置为键值对。2
架构师小秘圈·2019-08-11 13:35

【大数据进击】如何设置spark.kryoserializer.buffer.max value

设置Kryo为序列化类//设置Kryo为序列化类（默认为Java序列类）sparkConf.set("spark.serializer","org.a
Jiweilai1·2019-08-01 00:20

groupByKey ()根据key聚合

{HashPartitioner,Partitioner,SparkConf,SparkContext}objectTrans{defmain(args:Array[S
比格肖·2019-07-30 22:40

广播变量

classGacXs6Offline@Inject()(sparkConf:SparkConfiguration,mysqlConf:MysqlConfiguration,hbaseConf:HbaseConfiguration
焉知非鱼·2019-07-10 14:15

广播变量

classGacXs6Offline@Inject()(sparkConf:SparkConfiguration,mysqlConf:MysqlConfiguration,hbaseConf:HbaseConfiguration
焉知非鱼·2019-07-10 14:15

Spark History Server配置

$hdfsdfs-mkdir/spark/historylog2.配置sparkconf，使SparkHistoryServer从此目录中读取日志信息]$vimspark-defaults.confspark.eventLog.compresst
Wish大人·2019-06-27 00:00

spark RDD编程实践例子

本文把spark基本操作函数方法详细描述，并应用实践sparkSesion：是对在spark2.0后出现了sparksession的方法来声明sparkconf和context：是spark早期版本的数据生成
jacobwe·2019-06-25 14:28

spark的Wordcount入门

2.11.12org.apache.sparkspark-core_2.112.3.3org.apache.hadoophadoop-client2.8.52、编写代码packagecn.zkz.spark;importorg.apache.spark.SparkConf
Tetai·2019-06-20 15:17

Spark练习之通过Spark Streaming实时计算wordcount程序

Spark练习之通过SparkStreaming实时计算wordcount程序Java版本Scala版本pom.xmlJava版本importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.function.FlatMapFunction
爱是与世界平行·2019-06-20 11:23

基础统计(Basic Statistics)

{SparkConf,SparkC
chbxw·2019-06-03 23:30

在idea中编写好程序并打包到spark集群测试

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]):Unit={//1.创建配置信息valconf=newSparkConf
Jacquelin_1·2019-05-31 18:08

Spark shuffle调优

一、优化前：shuffle写的比例为输入数据的1.5倍：二、优化后：三、RDD压缩spark.shuffle.compress序列化后，shufflewrite仍然较大，考虑压缩sparkConf.set
haixwang·2019-05-31 17:02

SparkContext和spark-shell

文章目录SparkContext&SparkConf使用IDEA构建Spark应用程序spark-shell参数使用深度详解如何使用spark-shell？
liweihope·2019-05-25 10:47

SparkStreaming安全消费Kafka数据

SparkStreaming连接Kafka，我会这么写：valsparkConf=newSparkConf().setAppName("Spark2Kafka")valssc=newStreamingContext(sparkConf
SunnyRivers·2019-05-21 16:41

Spark算子实战action（Java）

1、reduce算子操作packagecn.spark.sparktest;importorg.apache.spark.SparkConf;importorg.apache.spark.SparkContext
菜鸟也有梦想啊·2019-05-14 19:46

Spark-广播变量(Broadcast Variables)

={valsparkConf=newSparkConf().setAppName("BroadcastApp").setMaster("local[2]")valsc=newSparkContext(sparkConf
潇洒-人生·2019-05-14 14:52

Spark算子实战transforma（Java）

将集合中的每个元素乘2packagecn.spark.sparktest;importjava.util.Arrays;importjava.util.List;importorg.apache.spark.SparkConf
菜鸟也有梦想啊·2019-05-13 22:12

idea-spark编程worldcount,hadoop同spark集成,搭建spark集群(forty-seven day third)

SNAPSHOTorg.apache.sparkspark-core_2.112.1.0java版wordcountpackagecom.oldboy.bigdata.spark.java;importorg.apache.spark.SparkConf
高辉·2019-05-12 21:46

Spark-数据源及机器学习算法部署

1、数据源读取使用的时候，需要加载驱动--jars或者添加到classpath中或scaddjarSpark对Oracle数据库读取，代码如下：conf=SparkConf().setAppName(string_test
Wind_LPH·2019-05-06 23:00

Spark3_SparkContext

开发过程中使用的运行模式包括localstatdaloneyarnmesos,设置完之后,spark就知道job作业运行在什么模式之上.1.2.createaSparkConf(key-valuepairs)SparkConf
丿灬逐风·2019-05-06 17:55

scala实现单词统计（thirty-nine day）

{SparkConf,SparkContext}      /**       *scala实现单词统计       */      objectWordcountScala{         defmain
高辉·2019-05-04 18:00

Spark JDBC操作mysql

packagecom.mao.scala.java;importorg.apache.spark.SparkConf;importorg.apache.spark.sql.
一只小菜鸟(*￣︶￣)·2019-05-03 22:32

SparkConf SparkContext 的简单介绍

上一篇介绍了RDD的相关知识本编介绍InitializingSpark官网地址:http://spark.apache.org/docs/latest/rdd-programming-guide.html#resilient-distributed-datasets-rddsInitializingSparkThefirstthingaSparkprogrammustdoistocreateaSp
潇洒-人生·2019-05-02 15:45

Spark Java API 详解

packagecom.hand.study;importscala.Tuple2;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD
Allen_forv·2019-04-28 10:40

Spark学习之Spark调优与调试(一)

一、使用SparkConf配置Spark对Spark进行性能调优，通常就是修改Spark应用的运行时配置选项。Spark中最主要的配置机制是通过SparkConf类对Spark进行配置。
|旧市拾荒|·2019-04-21 21:00

pyspark 连接mysql读取数据

@pyspark连接mysql读取数据frompysparkimportSparkConffrompysparkimportSparkContextconf=SparkConf().setAppName
huangkang1995·2019-03-25 13:15

Spark Core源码精读计划#1：SparkConf

目录前言SparkConf类的构造方法Spark配置项的存储设置配置项直接用Set类方法设置通过系统属性加载克隆SparkConf获取配置项校验配置项总结前言从本文开始，讨论Spark基础支撑子系统的具体实现
LittleMagic·2019-03-23 12:53

Sparksql连接本地mysql数据库

{SparkConf,SparkContext}importorg.apache.spark.sql.SQLContextobjectSQL_TEST{defmain(args:Array[String
Levy_Y·2019-03-19 10:42

提交Scala编写的WordCount程序到Spark集群

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]){//创建SparkConf()并设置App名称valconf=newSparkConf
Levy_Y·2019-03-14 16:39

Caused by: java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$S

{SparkConf,SparkContext}/***Createdbyleboopon2019/3/11.
leboop·2019-03-11 18:10

neo4j 连接 spark

2.10-1.0.0-RC1.jar或者添加maven依赖org.neo4j.sparkneo4j-spark-connector_2.101.0.0-RC1(2)设置spark连接信息valconf:SparkConf
FFFSSSFFF6·2019-03-11 09:22

把excel的数据导入spark，然后进行分析

{SparkConf,SparkContext}objectSparkReadFileCsv{defmain(args:Array[String]){//vallocalpath="F:\\1.csv"v
大数据修行·2019-03-10 13:23

scala常用操作

scala常用操作版本信息python3.7pyspark2.4.0frompysparkimportSQLContext,SparkContext,SparkConfconf=SparkConf()sc
无形·2019-03-09 00:00

Spark学习（八）：scala矩阵的基本操作

{SparkConf,S
CocoMama190227·2019-03-05 16:54

Spark学习（二）：SparkConf和SparkContext

通过创建SparkConf对象来配置应用，然后基于这个SparkConf创建一个SparkContext对象。驱动器程序通过SparkContext对象来访问Spark。
CocoMama190227·2019-03-01 14:24

sparkSQL 从MySQL数据源 读取数据【demo 程序篇 ReadDataFromMysql】

{SparkConf,SparkContext}objectReadDataFromMysql{defmain(args:Array[String]):Unit={//设置程序入口参数valconf=newSparkConf
tamir_2017·2019-03-01 11:29

新闻网站关键指标离线统计Spark作业

packagecom.spark.study.sparksql;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaSparkContext
不急吃口药·2019-02-26 17:29

wordcount 统计单词数量并按照数量排序

{SparkConf,SparkContext}o
朱健强ZJQ·2019-02-25 18:09

spark: sample 数据采样

{SparkConf,SparkContext}importscala.collection.mutable/***sample采样*/objectSampleTest{defmain(args:Array
念念不忘_·2019-02-23 12:33

广播变量和累加器使用

{SparkConf,SparkContext} /** *广播变量和累加器使用 */ objectAutoIncre{ defmai
念念不忘_·2019-02-16 00:00

Spark本地调试和远程调试

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]):Unit={//创建SparkConf并设置App名称valconf
Felix_CB·2019-02-14 16:02

wordCount scala

{SparkConf,SparkContext}importorg.apache.log4j.
朱健强ZJQ·2019-02-02 14:24
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他