SparkConf

spark storage之SparkEnv

ok，首先看看SparkContext中sparkEnv相关代码：1private[spark]defcreateSparkEnv( 2conf:SparkConf, 3isLocal:Boolean
月影舞华·2016-02-16 10:00

spark storage之SparkEnv

ok，首先看看SparkContext中sparkEnv相关代码：1private[spark]defcreateSparkEnv( 2conf:SparkConf, 3isLocal:Boolean
月影舞华·2016-02-16 10:00

重磅！Spark运行内幕 打通Spark系统运行内幕机制流程

Spark运行内幕1、编写的一个WordCount的例子【例】WordCount代码1.valconf=newSparkConf()//创建SparkConf对象conf.setAppName("Wow
段智华·2016-02-14 13:47

重磅！Spark运行内幕 打通Spark系统运行内幕机制流程

valconf=newSparkConf()//创建SparkConf对象conf.setAppName("Wow,MyFirstSparkApp!")
duan_zhihua·2016-02-14 13:00

大数据IMF行动传奇 迈向SparkContext天堂之门！ 探索天堂之门！

1、编写的一个WordCount的例子，其中有： valconf=newSparkConf()//创建SparkConf对象 conf.setAppName("Wow,MyFirstSparkApp!"
duan_zhihua·2016-02-04 12:00

Spark集群中WordCount运行原理

{SparkContext,SparkConf} /** *Createdbyvivion2016/1/27. */ objectWordCount{ defmain(args:Array
Kevin12·2016-02-01 01:43

spark 实战笔记case4

._ importorg.apache.spark.SparkConf objectSLA_parquetSQL{ defmain(args:Array[String]){ valsc=n
mlljava1111·2016-01-30 19:00

Spark配置参数

Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。
KevinZwx·2016-01-26 13:19

spark源码走读（2）

sc=SparkContext(master,appName)主要是在SparkContext类中，会按照传递的参数；初始化SparkConf对象valarr=Array(1,2,3,4,5)valarr1
rongyongfeikai2·2016-01-22 12:00

spark wordcount执行流程剖析

概要WordCount程序示例import org.apache.spark.SparkContext import org.apache.spark.SparkConf import org.apache.spark.SparkConf
_hadooper·2016-01-20 23:00

spark wordcount 详解

importjava.util.Arrays; importjava.util.List; importjava.util.regex.Pattern; importorg.apache.spark.SparkConf
guotong1988·2016-01-20 17:00

spark pi 详解

importorg.apache.spark.SparkConf; importorg.apache.spark.api.java.JavaRDD; importorg.apache.spark.api.java.JavaSparkContext
guotong1988·2016-01-20 16:00

Spark 读 Hbase

Serializable {     private transient JavaSparkContext javaSparkContext = null;     private transient SparkConf
momisabuilder·2016-01-20 14:00

Spark 读 Elasticsearch

Serializable {     private transient JavaSparkContext javaSparkContext = null;     private transient SparkConf
momisabuilder·2016-01-20 13:00

[置顶] SparkML实战之五：SVM

{SparkContext,SparkConf} importorg.apache.spark.mllib.classification.
u012432611·2016-01-14 10:00

[置顶] SparkML实战之四：回归

{SparkContext,SparkConf} importorg.apache.spark.mllib.regression.LabeledPoint importorg.apache.spark.mllib.regression.LinearRegressionModel
u012432611·2016-01-14 10:00

[置顶] SparkML实战之三：Logistic回归

packageMLlib importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext importorg.apache.spark.mllib.classification
u012432611·2016-01-14 10:00

[置顶] SparkML实战之二：Kmeans

{SparkConf,SparkContext} importorg.apache.spark.mllib.clustering.KMeans importorg.apache.spark.mllib.linalg.Vectors
u012432611·2016-01-14 09:00

[置顶] SparkML实战之一：线性回归

{SparkConf,SparkContext} importorg.apache.spark.mllib.linalg.Vectors importorg.apache.spark.mllib.regression
u012432611·2016-01-14 09:00

Spark wordcount

packagecom.chinatelecom.hadoop;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD
xztelecomlcs·2016-01-13 20:46

Spark wordcount

packagecom.chinatelecom.hadoop;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD
xztelecomlcs·2016-01-13 20:46

Spark wordcount

packagecom.chinatelecom.hadoop;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD
xztelecomlcs·2016-01-13 20:46

[推荐系统] 基于Spark的 user-base的协同过滤

{SparkContext,SparkConf} importorg.apache.spark.sql.functions.{rank,de
逸之·2016-01-10 10:00

[推荐系统] 基于Spark的 user-base的协同过滤

{SparkContext,SparkConf} importorg.apache.spark.sql.functions.{rank,de
逸之·2016-01-10 10:00

SparkStreaming实战

2演示代码importorg.apache.spark.SparkConf importorg.apache.spark.streaming.
u012432611·2016-01-04 17:00

Spark Streaming实例分析

Example代码分析valssc=newStreamingContext(sparkConf,Seconds(1));/
wwwxxdddx·2015-12-28 15:00

[spark]倒排索引

{SparkConf,SparkContext}importorg.apache.spark.SparkContext.
xiewenbo·2015-12-27 15:00

eclipse上运行spark程序

._ importorg.apache.spark.SparkConf obj
pangjiuzala·2015-12-23 21:00

3-2、Intellij IDEA开发、集群提交运行Spark代码

{SparkContext,SparkConf}/***Createdbyadminon2015/12/15.*/object
鲍礼彬·2015-12-15 15:20

3-2、Intellij IDEA开发、集群提交运行Spark代码

{SparkContext,SparkConf} /** *Createdbyadminon2015/12/15
baolibin528·2015-12-15 15:00

Spark RDDRelation

{SparkConf,SparkContext} caseclassRecord(key:Int,value:String) objectRDDRelation{ defmain(args:A
超大的雪童子·2015-12-13 15:00

scala 样例类实现类似reduceByWindown的效果

{SparkContext,SparkConf} /***Createdbyctaoon2015/12/9.*/ objectWordCountextendsApp{ valconf=newSparkConf
cjuexuan·2015-12-10 09:00

Spark-Error-Common

          IDEA开发WordCount（Spark）报错WordCount { } WordCount{   (args: Array[]) {     hadoopAddr = conf = SparkConf
wangyuqwerty·2015-12-08 22:43

Spark-Error-Common

IDEA开发WordCount（Spark）报错WordCount {}WordCount{  (args: Array[]) {    hadoopAddr = conf = SparkConf().
wangyuqwerty·2015-12-08 22:43

《apache spark源码剖析》 学习笔记之SparkContext

SparkContext在初始化过程中，主要涉及以下内容：SparkEnvDAGSchedulerTaskSchedulerSchedulerBackendWebUISparkContext的构造函数中最重要的入参是SparkConf
u011263983·2015-12-07 21:00

spark sql加载avro

1SparkConfsparkConf=newSparkConf().setAppName("Sparkjob"); 2JavaSparkContextjavaSparkContext=newJavaSparkContext(sparkConf
骁枫·2015-12-03 11:00

spark Sql

{SparkConf, SparkContext} object SLA_parquetSQL {   def main(args: Array[String]) {     val sc = new
jethai·2015-12-01 19:03

spark Sql

{SparkConf, SparkContext}object SLA_parquetSQL {  def main(args: Array[String]) {    val sc = new SparkContext
jethai·2015-12-01 19:03

利用Spark进行对账demo

{SparkContext,SparkConf} importjava.sql.DriverManager objectHandleGroupextendsApp{ valbeginTime=
see_you_again·2015-11-27 13:00

spark graphx 最短路径及中间节点

{SparkConf,SparkContext} importorg.apache.spark.graphx.
wingerli·2015-11-27 09:00

Spark standlone 数单词

一、注意事项SparkConf sparkConf = new SparkConf()                  //设置master                 .setMaster("spark
momisabuilder·2015-11-25 15:00

Spark Local 模式 数单词 排序

二、代码大放送            SparkConf sparkConf = new SparkConf().setMaster("local").setAppName("spark 1.4.1 tes
momisabuilder·2015-11-25 12:00

sparkJDBC mysql

{SparkContext,SparkConf} importorg.apache.spark.sql.Row importorg.apache.spark.sq
see_you_again·2015-11-19 10:00

Spark源码分析（二）-SparkContext创建

本文主要分析下在SparkContext类创建过程中进行的一些重要操作： 　　1、创建SparkConf对象 　　　　创建SparkConf对象来管
·2015-11-13 14:08

Win7上Spark WordCount运行过程及异常

{SparkContext, SparkConf} import org.apache.spark.SparkContext._ o
·2015-11-13 07:37

Spark wordcount开发并提交到集群运行

使用的ide是eclipse package com.luogankun.spark.base import org.apache.spark.SparkConf import org.apache.spark.SparkContext
·2015-11-13 02:48

Spark first example

package geo1.op1; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD
·2015-11-13 00:06

spark1.0属性配置以及spark-submit简单使用

在spark1.0中属性支持三种配置方式： 1、代码 在代码中构造SparkConf时指定master、appname或者key-value等 val conf = new SparkConf(
·2015-11-12 23:06

在Spark上运行TopK程序

1. scala程序如下 package com.cn.gao import org.apache.spark.SparkConf import org.apache.spark.SparkContext
·2015-11-11 19:36

在Spark上运行WordCount程序

1.编写程序代码如下： Wordcount.scala package Wordcount import org.apache.spark.SparkConf import org.apache.spark.SparkContext
·2015-11-11 19:34
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他