SparkConf 第6页

spark中使用不同算子实现wordcount的案例

authorxianwei*@Created2020/06/0522:06*/objectWordCountExer{defmain(args:Array[String]):Unit={valsparkConf:SparkConf

栗子呀呀呀y·2020-09-11 09:56

本地运行spark wordcount

{SparkConf,SparkContext}objectScalaWordCount{defmain(args:Array[String]):Unit={//创建spark配置，设置应用程序名字//

辜智强 -buaa·2020-09-11 09:04

SparkWordCount和JavaWordCount

{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDobjectSparkWordCount{defmain(args:Array[String]

lv_yishi·2020-09-11 09:52

Spark集群上跑wordcount

{SparkConf,SparkContext}/***scala：是一个强类型语言*模板代码*/objectSparkWC{defmain(args:Array[St

lds_include·2020-09-11 09:09

spark参数设置

//設置sparkconf參數valsparkConf=newSparkConf()//.setAppName("DirectKafka").set("spark.task.maxFailures","

han3ying1jun8·2020-09-11 08:44

Spark学习笔记1——第一个Spark程序：单词数统计

快速大数据分析》添加依赖通过Maven添加Spark-core_2.10的依赖程序找了一篇注释比较清楚的博客代码1，一次运行通过importscala.Tuple2;importorg.apache.spark.SparkConf

aou9515·2020-09-11 08:15

SparkStreaming实时wordCount程序

packagecom.bynear.spark_Streaming;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.function.FlatMapFunction

JSON_ZJS·2020-09-11 07:53

Spark用Java编写WordCount

一.Spark用Java编写WordCountimportorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD;importorg.apache.spark.api.java.JavaRDD

Jackson_MVP·2020-09-11 07:53

Spark之wordcount程序（Java Scala）

publicclassWordCountLocal{publicstaticvoidmain(String[]args){//编写Spark应用程序//本地执行，是可以执行在eclipse中的main方法中，执行的//第一步：创建SparkConf

weixin_34353714·2020-09-11 07:46

IDEA 使用Maven创建Spark WordCount经典案例

{SparkConf,SparkContext}objectScalaWorkCount{defmain(args:Array[String]):Unit={//创建spark配置，设置应用程序名字valconf

MarkerJava·2020-09-11 07:04

Spark中利用Scala进行数据清洗（代码）

{SparkConf,SparkContext}89objectLogAna

dianhe8193·2020-09-11 07:16

Spark word count 实例

{SparkConf,SparkContext}/***Createdbyxxxoooon8/29/2016.*/objectWordCount{defmain(args:Ar

dgsdaga3026010·2020-09-11 07:16

本地调试spark程序

{SparkConf,SparkContext}objectSca

weixin_43866709·2020-09-11 06:58

pyspark-Sparkconf()--转载

frompysparkimportSparkContext,SparkConffrompyspark.sqlimportSparkSessiondefcreate_sc():sc_conf=SparkConf

zuoseve01·2020-09-11 06:58

Spark部分的调优（代码调优，内存优化，调节Executor的堆外内存，shuffle调优，解决数据倾斜，Spark故障解决）【原理及方法介绍】

shuffle调优中调节参数的几种方式：配置这些参数有两种方式1.在程序中硬编码例如sparkConf.set("spark.shuffle.file.buffer","64k")2.提交application

道法—自然·2020-09-11 06:05

sparksql性能调优

性能优化参数代码实例importjava.util.List;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaSparkContext

岸芷汀兰whu·2020-09-11 04:56

spark实现wordcount的几种方式总结

{SparkConf,SparkContext}/***WordCount实现第一种方式:map+reduceByKey**@author陈小哥cw*@date2020/7/99:5

陈小哥cw·2020-09-11 02:47

用Spark实现多种方式的排序

{SparkConf,SparkContext}objectSortcust01{defmain(args:Array[String]):Unit={valconf=newSparkConf().setMaster

不愿透露姓名的李某某·2020-08-26 13:11

java Tuple2 maptopair lambda

importorg.apache.spark.api.java.JavaSparkContext;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.SparkConf

健忘主义·2020-08-25 07:47

Spark中分区使用

{HashPartitioner,Partitioner,SparkConf,SparkContext}importscala.collection.mutable/***Createdbyrooton2016

绛门人·2020-08-24 18:08

Spark学习笔记2：RDD编程

{SparkConf,SparkContext}objectword{defmain(args:Array[String]):Unit={valconf=newSparkConf().setMaster

wangyunfeis·2020-08-24 16:50

Spark第一个程序开发 wordcount

{SparkContext,SparkConf}/***CreatedbyAdministratoron2016/7/240024.

大冰的小屋·2020-08-24 16:24

IDEA读取本地文件进行处理的方式

{SparkContext,SparkConf}objectWordCount{defmain(args:Array[String]){//第一步：spark运行的环境，这个是必须的步骤valconf=

legotime·2020-08-24 08:46

华盖参天·2020-08-24 01:53

spark+java1.8+lamda wordCount 实例,并且实现按单词出现的次数的倒序排序

packagecom.jiangzeyun.spark.core;importjava.util.Arrays;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD

jiangzeyun·2020-08-24 00:36

dl4j源码阅读心得及问题（Spark部分）

publicclassIrisLocal{publicstaticvoidmain(String[]args)throwsException{SparkConfsparkConf=newSparkConf();sparkConf.setMaster

小鸟123·2020-08-24 00:51

Scala中自定义累加器的使用

{AccumulatorParam,SparkConf,SparkContext}objectCustomAccumulatorextendsAccumulatorParam[String]{overridedefzero

掏粪工·2020-08-23 19:44

pyspark基础教程

//192.168.10.182:7077”),spark://192.168.10.182:7077是master的url,192.168.10.182是master的ip7077是端口号conf=SparkConf

luoganttcc·2020-08-23 10:15

Spark Core的二次排序案例

实例：Java版本：importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD;importorg.apache.spark.api.java.JavaRDD

_a_0_·2020-08-23 04:59

Spark日志分析项目Demo(7)--临时表查询，各区域top3热门商品统计

现在要处理的是Hive数据，之前用RDD先排序，后获取top的方法实现topn，下面换个途径，成用临时表的sqltop查询来实现，流程是：(1)创建SparkConf,构建Spark上下文(2)注册自定义函数

zhi_fu·2020-08-23 04:38

Spark: sortBy sortByKey 二次排序

{SparkConf,SparkContext}importscala.ref

Wang_Qinghe·2020-08-23 03:20

Spark Core 自定义排序、分区

{SparkConf,SparkContext}//自定义排序objectCustomSortTest{defmain(args:Array[String]):Unit={valconf=n

weixin_43969505·2020-08-23 03:09

spark的二次排序(封装对象)

废话少说,上代码...实践是检验真理的唯一标准.......java代码实现:packageqq1;importorg.apache.spark.SparkConf;import

放肆桀骜!·2020-08-23 03:33

Spark实现二次排序的第二种方式

{SparkConf,SparkContext}objectWordCount{def

王凯凯之猿·2020-08-23 03:41

spark求topN问题的自定义分区器的实现

{Partitioner,SparkConf,SparkContext}importorg.apache.spark.rdd.RDDobjectGroupFavTeacher3{defmain(args

卷曲的葡萄藤·2020-08-23 03:41

spark解析CSV文件

{SparkConf,SparkContext}objectTelephoneData13{defmain(args:Arra

weixin_30655219·2020-08-23 03:34

SparkSQL编程之用户自定义函数

{SparkConf,SparkContext}importorg.sl

大数据小同学·2020-08-23 03:49

Spark之combineByKey详解Java

importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD;importorg.apache.spark.api.java.JavaRDD

华盖参天·2020-08-23 02:36

从csv文件创建dataFrame

{SparkConf,SparkContext}importorg.

kopunk·2020-08-23 01:16

CombineByKey

{SparkConf,SparkContext}objectCombineByKeyTest{defmain(args:Array[String]):Unit={valdataList:List[(String

念念不忘_·2020-08-23 01:12

spark streaming updateStateByKey 用法

System.exit(1)}valsparkConf=newSparkConf().setAppName("NetworkWordCount")valssc=newStreamingContext(sparkConf

afei2530·2020-08-23 01:47

Spark分组二次排序

{SparkConf,SparkContext}importscala.collection.mutable.ArrayBufferim

OldBoyee·2020-08-23 01:31

SparkStreaming中UpdataStateByKey批次累加算子

{HashPartitioner,SparkConf,SparkContext}importorg.apache.spark.streaming.dstream.

Jackson_MVP·2020-08-23 00:21

Spark中广播的使用

{SparkConf,SparkContext}/**day30课程*Createdbyrooton2016/5/18.

绛门人·2020-08-22 19:42

Spark 任务划分，调度，执行

Spark任务划分，调度，执行defmain(args:Array[String]):Unit={//使用IDEA开发工具完成WordCount//local模式//创建SparkConf对象valconf

地球人是我哈·2020-08-22 19:07

用Spark向HBase中插入数据

代码如下：packagedb.insert;importjava.util.Iterator;importjava.util.StringTokenizer;importorg.apache.spark.SparkConf

weixin_34239592·2020-08-22 19:16

Spark修炼之道（高级篇）——Spark源码阅读：第三节 Spark Job的提交

{SparkConf,SparkContext}objectSparkWordCount{defmain(args:Array[String]){if(args.length==0){System.err.println

weixin_34149796·2020-08-22 19:35

SparkRDD之countByKey和countByValue

packagecom.cb.spark.sparkrdd;importjava.util.Arrays;importjava.util.function.BiConsumer;importorg.apache.spark.SparkConf

大雄没有叮当猫·2020-08-22 18:39

Spark之BroadCast

packagecom.uplooking.bigdata.core.p3;importorg.apache.spark.SparkConf;importorg.apache.spark.SparkContext

维维weiwei·2020-08-22 18:50

Spark对HBase进行数据的读写操作

HBaseConfiguration.create()valsparkConf=newSparkConf().setMaster("local").setAppName("HBase")valsc=newSparkContext(sparkConf

我就算饿死也不做程序员·2020-08-22 18:55

推荐频道

SparkConf