SparkConf

spark源码二：sparkContext初始化之spark的执行环境SparkConf

SparkEnv是Spark的执行环境对象，其中包括众多与Executor执行相关的对象。由于在local模式下Driver会创建Executor，local-cluster部署模式或者Standalone部署模式下Worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor，所以SparkEnv存在于Driver或者CoarseGrainedExecu
每天一滴水·2018-06-25 16:56

【Spark】Spark将计算结果写入到Mysql中

{SparkContext,SparkConf}object RDDtoMysql{  cas
倚楼又听雨·2018-06-20 16:23

spark dataframe 转成 dataset

{SparkConf,SparkContext}importorg.apache.spark.sql.
瓦力冫·2018-06-19 18:22

spark 自定义排序

{SparkConf,Sp
chak_16·2018-06-04 22:39

Spark之hive的UDF自定义函数

{SparkConf,SparkContext}importorg.apache.spark.sql.hive.HiveContextobjectUDFDemo1{defmain(args:Array[
九师兄-梁川川·2018-05-31 09:09

Spark 读取excel csv

{SparkConf,SparkContext}/***Createdbyllon2018/5/17.
酱g·2018-05-23 17:07

正确提交spark到yarn的demo

因为是通过Spark-submit提交程序，所以在代码当中的SparkConf设置为.setMaster("yarn-cluster")如果提交显示classnotfound可能是当前用户没有权限操作打包在集群
BAStriver·2018-05-22 14:22

正确提交spark到yarn的demo

因为是通过Spark-submit提交程序，所以在代码当中的SparkConf设置为.setMaster("yarn-cluster")如果提交显示classnotfound可能是当前用户没有权限操作打包在集群
BAStriver·2018-05-22 14:22

Spark配置

配置spark系统有如下3中方法：①spark属性：控制大多数应用程序参数，为每个应用程序设置不同的参数，通过使用SparkConf对象或者java系统属性②环境变量：通过设置每个节点的conf/spark-env.sh
每天进步一点点2017·2018-05-21 23:30

Spark-Task not serializable错误解析

{SparkConf,SparkContext}/***CreatedbyAdmin
沙拉控·2018-05-17 15:03

spark 常用函数介绍（python）

全栈工程师开发手册（作者：栾鹏）架构系列文章获取SparkContextpython语法1.获取sparkSession：se=SparkSession.builder.config(conf=SparkConf
数据架构师·2018-05-17 15:01

Spark中的Window滑动窗口之热点搜索词滑动统计！

packagecom.bynear.spark_Streaming;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD
JSON_ZJS·2018-05-15 16:26

Spark Streaming笔记整理（二）：案例、SSC、数据源与自定义Receiver

packagecn.xpleaf.bigdata.spark.java.streaming.p1;importorg.apache.log4j.Level;importorg.apache.log4j.Logger;importorg.apache.spark.SparkConf
xpleaf·2018-05-11 09:38

Spark SQL笔记整理（三）：加载保存功能与Spark SQL函数

{SparkConf,SparkContex
xpleaf·2018-05-09 20:40

用IDEA开发spark应用，发生java.lang.ClassNotFoundException的解决

{SparkConf,SparkContext}objectSpark1{defmain(args:A
程序猿不加班·2018-05-06 03:52

Spark集成Kafka实时流计算Java案例

*;importorg.apache.spark.SparkConf;importorg.apache.spark.TaskContext;importorg.apache.spark.api.java
gmHappy·2018-05-03 16:15

scala二次排序实现

{SparkConf,SparkContext}classsecondSort(valfirst:Int,valsecond:Int)extendsOrdered[secondSort]withSerializable
jin6872115·2018-05-03 09:26

spark2.1.0-在文本文件中统计出现关键字的次数

packagecom.wangzs;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext
q启明星·2018-04-26 19:52

spark属性配置方式

在Spark1.0.0提供了3种方式的属性配置：SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用属性直接配置，如master使用
说的对·2018-04-26 18:29

Spark笔记整理（三）：Spark WC开发与应用部署

org.scala-langscala-library2.10.5org.apache.sparkspark-core_2.101.6.2sparkwc之Java版本packagecn.xpleaf.bigdata.spark.java.core.p1;importorg.apache.spark.SparkConf
xpleaf·2018-04-25 17:17

Spark程序的入口之SparkContext

今天讲的是sparkContext，这是spark程序的入口，每次写spark程序，首先你得:newsparkContext(conf)，参数里是sparkConf，也就是一些相关配置参数。
一个程序员的自我修炼·2018-04-18 22:59

spark 读取各类数据源

本文章主要通过代码实现spark读取各类数据源1spark读取hive数据importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaSparkContext
贾红平·2018-04-15 18:10

Spark中广播变量的作用（foreach往map添加数据后没有数据）

{SparkConf,SparkContext}objectdraft2{defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName
土豆拍死马铃薯·2018-04-03 15:55

spark 读取redis

{SparkConf,SparkContext}importorg.joda.time.
jxx4903049·2018-03-28 20:55

Spark 调优与调试

=======================================================================================使用SparkConf配置Spark
leedsjung·2018-03-19 13:08

关于spark2.x后的SparkSession

最重要的是，它减少了用户需要了解的一些概念，使得我们可以很容易地与Spark交互,在SparkSession中封装了SparkContext,SparkConf等,为了解决用户可能对SparkC
qq_30366667·2018-03-10 21:43

spark-stream-kafka offsets 保存到 zookeeper

{SparkConf,SparkContext}importkafka.message.
choudan1531·2018-03-10 13:00

spark配置详解

/8526966.html对付看把到这里格式变化太大了，懒得调整了，这是大概spark1.5版本时候的一些参数默认值，现在2.x会有变化这些皆可在spark-default.conf配置，或者部分可在sparkconf
YZJ8819·2018-03-08 10:00

Spark算子之mapPartitions

importjava.util.HashMap;importjava.util.Iterator;importjava.util.List;importjava.util.Map;importorg.apache.spark.SparkConf
你锋哥真的强·2018-03-05 08:14

使用 Scala 写WordContext程序

{SparkConf, SparkContext}object MyWordContextDemo {  def main(args: Array[String]): Unit = {    // 创建一个
菜鸟的征程·2018-02-28 10:01

Spark1.3.1源码分析 Spark job 提交流程

{SparkConf,SparkContext}/***Createdbylancerlinon2018/2/2.*/
LancerLin_LX·2018-02-06 21:12

SparkContext、SparkConf和SparkSession之间的联系及其初始化

1SparkConf和SparkContext1.1启动spark-shell每个Spark应用程序都需要一个Spark环境，这是SparkRDDAPI的主要入口点。
love666666shen·2018-02-05 17:02

《深入理解Spark》之RDD转换DataFrame的两种方式的比较

{SparkConf,SparkContext}importorg.apache.spark.sql.SQLContextimportorg.apache.spark.sql.
lyzx_in_csdn·2018-01-08 17:23

《深入理解Spark》之RDD和DataFrame的相互转换

{SparkConf,SparkContext}importorg.apache.spark.sql.Row;importorg.apache.spark.sql.types.
lyzx_in_csdn·2018-01-07 22:58

Spark源码解读之SparkContext初始化

一、SparkConf概述SparkC
盛装吾步·2018-01-04 19:00

标签练习

{SparkConf,SparkContext}/***标签生成器*/objectTGTest{defmain(args:Array[String]):Unit={valconf=newSparkConf
Cincinnati_De·2017-12-17 23:25

Spark编程模型解析

{SparkConf,SparkContext}/***Createdbysunyonggangon16-4-12.
yonggang_sun·2017-12-03 05:40

提交第一个spark作业到集群运行

{SparkConf,SparkContext}objectWordCount{defmain(arg
留歌36·2017-12-02 23:33

走进Spark生态圈：运行程序在Spark集群

的可视化查看集群的运行状态.集群已经存在,这一节我们将会在集群上运行我们的第一个程序：统计文本中的单词数(简称:WordCount)示例代码将使用Scala语言编写,运行在伪分布集群Spark81上Spark核心对象SparkConf
非白即黑·2017-11-18 19:44

[Spark参数配置]--1.6.0版本的参数配置

Spark提供三个位置用来配置系统：(1)Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置(2)环境变量：可以通过每个节点的conf/spark-env.sh
highfei2011·2017-11-06 00:00

spark参数设置

阅读更多//設置sparkconf參數valsparkConf=newSparkConf()//.setAppName("DirectKafka").set("spark.task.maxFailures
字母哥·2017-10-30 15:00

Spark DataFrame 操作命令

SparkConfsparkConf=newSparkConf().setAppName("名称").setMaster("执行方式");JavaSparkContextjsc=newJavaSparkContext(sparkConf
silent彦沁·2017-10-23 15:43

Spark源码走读（二） —— Job的提交

{SparkConf,SparkContext}objectSparkWordCount{defmain(args:Array[String]){if(args.length==0){System.exit
Austing_cai·2017-10-20 21:55

Spark三种属性配置方式详解

并且可以通过SparkConf对象或者Java系统属性进行设置；2、环境变量(Environmentvariables)：这个可以分别对每台机器进行相应的设置，比如IP。
小狼_百度·2017-10-20 10:44

Spark Java 分组排序取TopN

1.输入c185c277c388c122c166c395c354c291c266c154c165c241c4652.代码实现importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD
生命不息丶折腾不止·2017-10-18 21:59

Spark RDD API解析及实战

{HashPartitioner,SparkConf,SparkContext}importscala.collection.mutable.ArrayBufferobjectRDDTest{defmain
土豆拍死马铃薯·2017-10-12 22:04

spark中通过jdbc读取和存储数据

mysql的例子，具体代码如下：packagecom.cxd.sql;importjava.util.HashMap;importjava.util.Map;importorg.apache.spark.SparkConf
黑白调92·2017-09-26 15:58

spark2.x由浅入深深到底系列七之RDD python api详解二

先创建一个RDD：conf = SparkConf().setAppName("appName").setMaster("local")sc = SparkContext(conf=conf)parallelize_rdd
tangweiqun·2017-09-23 22:23

SparkCore解析json数据fastjson

{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDobjectsimple{defmain(args:Array[String]){valconf
小小的_我·2017-09-23 17:52

Spark求平均数,父子关系

{SparkConf,SparkContext}objectAppextendsApp{valconf=newSparkConf().setMaster("local[*]").setAppName("
dymkkj·2017-09-20 16:41
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他