SparkConf 第7页

Spark实现二次排序的第二种方式

{SparkConf,SparkContext}objectWordCount{def

王凯凯之猿·2020-08-23 03:41

spark求topN问题的自定义分区器的实现

{Partitioner,SparkConf,SparkContext}importorg.apache.spark.rdd.RDDobjectGroupFavTeacher3{defmain(args

卷曲的葡萄藤·2020-08-23 03:41

spark解析CSV文件

{SparkConf,SparkContext}objectTelephoneData13{defmain(args:Arra

weixin_30655219·2020-08-23 03:34

SparkSQL编程之用户自定义函数

{SparkConf,SparkContext}importorg.sl

大数据小同学·2020-08-23 03:49

Spark之combineByKey详解Java

importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD;importorg.apache.spark.api.java.JavaRDD

华盖参天·2020-08-23 02:36

从csv文件创建dataFrame

{SparkConf,SparkContext}importorg.

kopunk·2020-08-23 01:16

CombineByKey

{SparkConf,SparkContext}objectCombineByKeyTest{defmain(args:Array[String]):Unit={valdataList:List[(String

念念不忘_·2020-08-23 01:12

spark streaming updateStateByKey 用法

System.exit(1)}valsparkConf=newSparkConf().setAppName("NetworkWordCount")valssc=newStreamingContext(sparkConf

afei2530·2020-08-23 01:47

Spark分组二次排序

{SparkConf,SparkContext}importscala.collection.mutable.ArrayBufferim

OldBoyee·2020-08-23 01:31

SparkStreaming中UpdataStateByKey批次累加算子

{HashPartitioner,SparkConf,SparkContext}importorg.apache.spark.streaming.dstream.

Jackson_MVP·2020-08-23 00:21

Spark中广播的使用

{SparkConf,SparkContext}/**day30课程*Createdbyrooton2016/5/18.

绛门人·2020-08-22 19:42

Spark 任务划分，调度，执行

Spark任务划分，调度，执行defmain(args:Array[String]):Unit={//使用IDEA开发工具完成WordCount//local模式//创建SparkConf对象valconf

地球人是我哈·2020-08-22 19:07

用Spark向HBase中插入数据

代码如下：packagedb.insert;importjava.util.Iterator;importjava.util.StringTokenizer;importorg.apache.spark.SparkConf

weixin_34239592·2020-08-22 19:16

Spark修炼之道（高级篇）——Spark源码阅读：第三节 Spark Job的提交

{SparkConf,SparkContext}objectSparkWordCount{defmain(args:Array[String]){if(args.length==0){System.err.println

weixin_34149796·2020-08-22 19:35

SparkRDD之countByKey和countByValue

packagecom.cb.spark.sparkrdd;importjava.util.Arrays;importjava.util.function.BiConsumer;importorg.apache.spark.SparkConf

大雄没有叮当猫·2020-08-22 18:39

Spark之BroadCast

packagecom.uplooking.bigdata.core.p3;importorg.apache.spark.SparkConf;importorg.apache.spark.SparkContext

维维weiwei·2020-08-22 18:50

Spark对HBase进行数据的读写操作

HBaseConfiguration.create()valsparkConf=newSparkConf().setMaster("local").setAppName("HBase")valsc=newSparkContext(sparkConf

我就算饿死也不做程序员·2020-08-22 18:55

spark 聚合和广播

的聚合和广播两个特殊的算子1广播变量或者少量的数据,可以起到优化功能importjava.util.Arrays;importjava.util.List;importorg.apache.spark.SparkConf

贾红平·2020-08-22 17:21

Spark基础知识系列一（从hdfs获取文件）

{SparkConf,SparkContext}/***CreatedbyDamonon3/29/17.*/objectHelloScala{defmain(args:Array[String]

walker_storage·2020-08-22 17:20

Spark作业执行流程

Spark作业执行实例代码：defrddBasics:Unit={valsparkConf:SparkConf=newSparkConf().setAppName("rddbasicsimplement

ZH519080·2020-08-22 16:54

Spark 广播变量的使用(Java版)

10794881.html广播变量:主要应用与Driver创建的变量,在Executor端需要用到时,可以使用广播变量packageSparkStreaming;importorg.apache.spark.SparkConf

QQ_2413096787·2020-08-22 16:54

[第三章] sparkContext原理剖析

前面我们讲过了了关于spark整体构架原理，在spark中,当执行我们的application,也就是我们写的程代码，我们回想一下，之前我们写的spark应用的第一行是不是先构造一个sparkConf,

cariya·2020-08-22 02:46

elasticsearch-spark更新文档

{SparkConf,SparkContext}importorg.elasticsearch.spark._/***Createdbymagnetoon16-6-29.

愚公300代·2020-08-21 21:17

Lost task 0.0 in stage 0.0

今天来更新一个错误，下面是我的解决办法，将所有的mysql驱动包，放到集群每个节点下面，将程序的连接jdbc的地址从localhost改为安装了mysql的节点的地址，所有的SparkConf属性只设置

七个馒头·2020-08-21 02:07

spark大数据分析:spark core(10)广播变量

{SparkConf,SparkContext}objectUserCityBrocast{defmain(args:Array[String]):

_张不帅·2020-08-20 20:25

Spark 算法练习两则

{SparkConf,SparkContext}objectdemo01{defmain(args:Array[String]):Unit={p

懒癌牙套妹·2020-08-20 13:21

创建DataFrame的几种方式

Xuruyun","score":99}{"name":"Liangyongqi","score":74}Java代码：packagedemo.java.cn;importorg.apache.spark.SparkConf

鹭岛猥琐男·2020-08-18 13:18

spark textFile基本语法

valsparkConf=newSparkConf().setAppName("test")valsc=newSparkContext(sparkConf)valcacheRDD=sc.textFile

zajbetterme·2020-08-18 12:24

sparksql读取hive数据源配置

1、将hive-site.xml内容添加到sparkconf配置文件中，内容仅需要元数据连接信息即可hive.metastore.uristhrift://master-centos:9083ThriftURIfortheremotemetastore.Usedbymetastoreclienttoconnecttoremotemetastore

jimmyxyalj·2020-08-18 12:19

sparkStreaming中用sparksql时遇到的问题总结

sparksql，按照官网的写法，一开始的代码是这样的：SparkConfsparkConf=newSparkConf().setMaster("local[2]").setAppName("test");sparkConf.set

Hello Guava·2020-08-18 12:39

spark 序列化对象时的问题-Serializable

{SparkConf,SparkContext}//如果sobjectserTest{defmain(args:Array[String]):Unit={//第二种方式class文件就行//如果在driver

微风凉·2020-08-18 12:50

Spark算子案例实操|广告的TOP3

需求分析代码实现具体代码//1.创建SparkConf并设置App名称valconf:SparkConf=newSparkConf().setAppName("SparkCoreTest").setMaster

SmallScorpion·2020-08-18 11:54

Spark通过netcat来监听端口访问数据

{SparkConf,SparkContext}im

new_buff_007·2020-08-18 11:43

sparkStreaming-获取kafka数据并按批次累加

{HashPartitioner,SparkConf}importorg.apache.spark.streaming.dstream.ReceiverInputDStreamimportorg.apache.spark.streaming.kafka.KafkaUtilsimportorg

lv_yishi·2020-08-18 11:54

Spark Streaming DSstream 的updateByKey用法

{SparkConf,SparkContext}objectStatefulWordCountOnLine{defmain(args:Array[String]):Unit={/

花纵酒·2020-08-18 11:16

Spark SQL 两表关联

{SparkContext,SparkConf}//definecaseclassforusercaseclassUser(userID:String,gender:String,age:Int

dgsdaga3026010·2020-08-18 11:41

使用spark-streaming-kafka-0-10_2.11-2.0.0依赖包创建kafka输入流

objectDirectStream{defmain(args:Array[String]):Unit={//创建SparkConf，如果将任务提交到集群中，那么要去掉.setMaster("local

chen58683632·2020-08-18 10:24

Spark 中 RDD 持久化

{SparkConf

火成哥哥·2020-08-18 10:50

Spark 中的累加器及广播变量

{SparkConf,SparkCont

火成哥哥·2020-08-18 10:50

DataFrames入门指南：创建和操作DataFrame

从csv文件创建DataFrame主要包括以下几步骤：1、在build.sbt文件里面添加spark-csv支持库；2、创建SparkConf对象，其中包括Spark运行所有的环境信息；3、创建SparkContext

weixin_34281477·2020-08-18 05:58

Spark 连接 Hbase 配置

{SparkContext,SparkConf

zhou_zhao_xu·2020-08-17 10:35

Pyspark Word2Vec + jieba 训练词向量流程

,numpy数据格式:自定义词典,语料库均为pysparkdataframe,停用辞典不大,直接使用txt.1createspark我的pyspark参数设置如下:defcreate_spark():sparkconf

levy_cui·2020-08-15 02:31

Spark源码解析之Yarn Cluster模式启动流程源码解析

//启动实例app.start(childArgs.toArray,sparkConf)而YarnCluster模式，在prepareSubmitEnvironment()中准备运行环境

南宫紫攸·2020-08-14 21:52

spark graphx实现共同好友的聚合

{SparkConf,Sp

sunkl_·2020-08-12 18:07

spark idea java.lang.NoClassDefFoundError

Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/fs/FSDataInputStreamatorg.apache.spark.SparkConf.loadFromSystemProperties

luyee2010·2020-08-11 17:01

SparkSQL入门、Hive和Spark整合、SparkSession入口

文章目录1、SparkSQL入门1.1SparkSQL特性1.2SparkSQL,DataFramesandDatasetsGuide2、Hive和Spark整合2.1把hive-site.xml复制到sparkconf

11号车厢·2020-08-11 05:09

pyspark源码之SparkConf学习（conf.py）

本系列文章是下载的是spark2.2.1版本的源码进行相关分析和学习。##LicensedtotheApacheSoftwareFoundation(ASF)underoneormore#contributorlicenseagreements.SeetheNOTICEfiledistributedwith#thisworkforadditionalinformationregardingcopy

爱数星星的小H·2020-08-11 04:08

pyspark Sparkconf()参数配置

frompysparkimportSparkContext,SparkConffrompyspark.sqlimportSparkSessiondefcreate_sc():sc_conf=SparkConf

NoOne-csdn·2020-08-11 04:09

Spark简单读写Hive

=utf-8--frompysparkimportSparkContextfrompysparkimportSparkConffrompyspark.sqlimportHiveContextconf=SparkConf

云中的鱼·2020-08-11 04:36

推荐频道

SparkConf