SparkConf 第10页

spark中reparation和coalesce的用法和区别

{SparkConf,SparkContext}objectRddTest{defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName

JasonLee'blog·2020-06-30 00:05

SparkStreamingOnKafkaDirected（没明白 KafkaUtils.createDirectStream）【Java版纯代码】

importjava.util.HashSet;importjava.util.Map;importkafka.serializer.StringDecoder;importorg.apache.spark.SparkConf

道法—自然·2020-06-29 22:56

用spark streaming实时读取hdfs数据并写入elasticsearch中

{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDimportorg.apache.spark

小帅热爱难回头·2020-06-29 14:42

Scala语言单例模式

单例模式privatevarspark:Option[SparkConf]=Nonedefget(appName:String):SparkConf={if(spark.isEmpty){valconf

weixin_jumery·2020-06-29 12:13

spark入门框架+python

目录：简介pysparkIPythonNotebook安装配置spark编写框架：首先开启hdfs以及yarn1sparkconf2sparkcontext3RDD（核心）4transformation

weixin_42001089·2020-06-29 03:45

pyspark api 解读一

SparkContext:spark函数式编程的主入口.RDD:弹性分布式数据集，spark的基本抽象.Broadcast:广播变量可以在任务之间重复使用.Accumulator:任务之间共享的只增不减的变量.SparkConf

N_O_W·2020-06-29 00:30

SparkSQL DSL开发

{SparkConf,SparkContext}caseclassPerson2(name:String

weixin_40652340·2020-06-29 00:22

Spark常用机器学习算法(scala+java)

{SparkConf,SparkContext}importorg.apache.spark.mllib.clustering.

weixin_34269583·2020-06-28 15:57

spark MLlib BasicStatistics 统计学基础

packageML.BasicStatistics;importcom.google.common.collect.Lists;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaDoubleRDD

weixin_30794491·2020-06-28 00:53

统计IP地址对应的省份，并把结果存入到mysql(示例)

{SparkConf,SparkContext}importscala.co

weixin_30684743·2020-06-27 23:25

Spark练习册

Spark练习pyspark=>Spark2.4,local编写框架frompysparkimportSparkConf,SparkContext#创建SparkConf：设置的是Spark相关参数信息

weixin_30569033·2020-06-27 21:17

Spark MLlib特征处理：Normalizer 正则化---原理及实战

{SparkContext,SparkConf}objectNormalizerExample{defmain(args:Array[String]){valconf=newSparkCo

朱智文·2020-06-27 08:25

spark提交方式总结

blog.csdn.net/zpf336/article/details/82152286spark入门之提交任务方式篇，spark的部署方式如下图：当用/bin/spark-submit提交任务时，conf=SparkConf

泛音青年·2020-06-26 07:24

胩胩光·2020-06-25 17:43

Spark Streaming消费kafka数据为减少控制台输出日志配置log4j.properties不起效的问题

在使用SparkStreaming消费Kafka数据并处理数据时会在控制台生成大量不太重要的日志，为了减少控制台输出的日志，在使用sparkConf.setLogLevel()方法达不到期望时，想通过配置

Troyong·2020-06-25 16:48

python语言spark弹性分布式数据集-RDD（Spark快速大数据分析）（上）

官方文档：http://spark.apache.org/1.开始：Linux命令：spark-submit加py文件名py文件开始：importpysparkconf=pyspark.SparkConf

MeKa·2020-06-25 14:24

1.sparksql的通过 case class 创建 DataFrames（反射）

{SparkConf,SparkContext}objectTestDataFrame1{defmain(args:Array[String]):Unit={valconf=newSparkConf()

qq_35561207·2020-06-25 09:37

spark学习-SparkSQL--07-SparkContext类和SparkConf类

任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。

九师兄·2020-06-25 01:21

SparkSql执行select查询

{SparkConf,

qq_16563637·2020-06-24 23:10

《深入理解Spark》之并行度和参数(spark.default.parallelism)之间的关系

{SparkConf,SparkContext}classT1{deff1(sc:SparkContext):Unit={valrdd=sc.parallelize(1to100,10)println(

lyzx_in_csdn·2020-06-24 11:42

大数据项目实战之十三:13.Spark上下文构建以及模拟数据生成

importcom.ibeifeng.sparkproject.constant.Constants;importcom.ibeifeng.sparkproject.util.MockData;importorg.apache.spark.SparkConf

码动乾坤·2020-06-24 08:22

Spark实现列转行------求平均温度案例

{SparkConf,SparkContext}objectMySparkUtil{//获取本地的SparkContextdefapply(appName:String):SparkContext={valconf

码动乾坤·2020-06-24 08:21

用scala实现spark版：单词统计案例

{SparkConf,SparkContext}importorg.apache.spark.rdd.RDD/***Date:2019/4/24*Author:Lynn.cn.Li*Desc:学习scala

CN_L·2020-06-24 03:26

java语言开发实现spark版（提交单机/集群两个运行版本）：词计数

单机版本：packagecom.itheima.java_wordcount;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD

CN_L·2020-06-24 03:26

Spark Stream 简单例子

importjava.net.ServerSocket;importjava.net.Socket;importjava.util.Arrays;importjava.util.UUID;importorg.apache.spark.SparkConf

Andy__Han·2020-06-23 16:54

TensorflowOnSpark遇到的几个问题和解决方法

我的版本如下：Hadoop2.7Spark2.3.1Python3.6.3Tensorflow1.5遇到的问题如下：（1）将文件转为csv格式时，就出现错误，错误位置为sc=SparkContext(conf=SparkConf

程序媛的小笔记·2020-06-23 09:20

Spark架构分析

提交spark程序（apliaction）会通过反射再本机上生成一个driveractor（提交方式是standalone）执行application程序首先构造出sparkconf然后构造出sparkcontextsparkcontext

anjingba9945·2020-06-22 14:01

scala ----之不成方圆的一隅

、方法1.主方法形参args:Array[String]String数组声明时间变量声明日志变量通过logger类调用getlogger方法声明hivecontext参数的引用通过使用匿名类的方式构建sparkconf

Tanyueqing·2020-06-22 06:12

KafkaUtils.createDirectStream消费不到数据

defmain(args:Array[String]):Unit={valconf:SparkConf=newSparkConf().setAppName("BatchLoadThroughKafka"

666呀·2020-06-22 06:43

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

Exceptioninthread“main”java.lang.NoClassDefFoundError:org/apache/hadoop/fs/FSDataInputStreamatorg.apache.spark.SparkConf.loadFromSystemProperties

SX的笔记·2020-06-22 05:23

Spark调优秘诀

可以自行设置Rdd的并行度，有两种方式：第一，在parallelize(),textFile()等外部数据源方法中传入第二个参数，设置rdd的task/partition的数量；第二个用sparkconf.set

Baron_ND·2020-06-21 17:46

Hive实战之影音系统练习

packagecom.dt.spark.cores.java.HiveDataMode;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD

菜鸟VS大神2·2020-06-21 14:52

spark 源码 ---1-SparkContext-初始化

spark集群交互的连接,负责向调用这提供Spark的各种功能主要功能：在集群上，创建RDD,累加器，广播变量等driver和executor都会创建sparkContext初始化过程--driver前置条件SparkConf

github_28583061·2020-05-07 20:26

spark之java实现wordcount

packageday18test;importorg.apache.log4j.Level;importorg.apache.log4j.Logger;importorg.apache.spark.SparkConf

閫嗛·2020-04-10 12:06

Spark的广播变量机制

共享同一份计算逻辑的变量广播变量使用场景我现在要在在这些内容中过滤java和object-c过滤内容使用广播变量过滤代码逻辑：packagecom.chenzhipeng.spark.examples01;importorg.apache.spark.SparkConf

陈_志鹏·2020-04-09 07:13

Spark配置参数详解

Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。

达微·2020-03-30 11:27

spark创建rdd,DataFrame,Spark SQL

utf8frompysparkimportSparkConf,SparkContextfrompyspark.sqlimportSparkSession,Row'''基本RDD“转换”运算'''conf=SparkConf

BlueCat2016·2020-03-30 09:54

SparkContext组件之SparkEnv

ThisfunctionallowscomponentscreatedbySparkEnvtobemockedinunittests:private[spark]defcreateSparkEnv(conf:SparkConf

简陋的小屋·2020-03-29 21:07

idea本地调试spark demo 异常

第一个问题:Causedby:java.lang.ClassNotFoundException:org.apache.spark.SparkConf出现的原因:依赖中加入了provided解决方案:取掉

light01·2020-03-29 07:21

spark-streaming中使用spark-sql做关联查询

topic，创建出kafka的DStream流valsparkConf=newSparkConf().setAppName(appParams.appName)valsc=newSparkContext(sparkConf

lsnl8480·2020-03-24 04:19

spark提交过程分析（standalone模式）

会通过反射的方式，创建和构造一个DriverActor进程出来（scala中的actor类似java的多线程）1.2.Driver进程会执行我们提交的Application应用程序，一般情况下，先构造SparkConf

nicklbx·2020-03-22 11:44

Spark启动时的master参数以及Spark的部署方式

我们在初始化SparkConf时，或者提交Spark任务时，都会有master参数需要设置，如下：conf=SparkConf().setAppName(appName).setMaster(master

geekpy·2020-03-21 11:47

ubuntu16做spark集群免密码启动

修改a主机sparkconf目录下的slaves文件，增加spark-a、spark-b两台主机名。设置免密登陆：#在主节点spark-a上：运行ssh-keygen并接受默认选项$ssh-

默默189·2020-03-21 03:49

pyspark学习笔记（一）

pysparkjupyternotebookfrompysparkimportSparkConf,SparkContextappName='testSpark'defmain(sc):passif__name__=='__main__':#ConfigureSparkconf=SparkConf

深思海数_willschang·2020-03-20 18:48

spark使用JavaAPI统计文本出现的字符频率最高的前五

packagecom.neo.spark;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD;importorg.apache.spark.api.java.JavaRDD

paopaodaxia·2020-03-19 23:24

action操作

)countByKey()importjava.util.Arrays;importjava.util.List;importjava.util.Map;importorg.apache.spark.SparkConf

ibunny·2020-03-19 07:11

Spark经典案之求最大最小值

{SparkConf,SparkContext}/***业务场景：求最大最小值*CreatedbyYJon2017/2/8.*/objectcase5{defmain(args:Arra

__豆约翰__·2020-03-16 16:12

RDD如何设置分区数

{SparkConf,SparkContext}objectInterview{de

chenyanlong_v·2020-03-15 14:10

spark的groupByKey、reduceByKey的算子简单使用

{Partition,Partitioner,SparkConf,SparkContext}importscala.collection.mutable.ArrayBu

閫嗛·2020-03-14 06:57

3. 通过案例对SparkStreaming 透彻理解三板斧之三：解密SparkStreaming运行机制和架构进阶之Job和容错

第1步：创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息。

milkfan·2020-03-13 15:02

推荐频道

SparkConf