SparkConf

Apache Spark-1.0.0浅析（一）：引子

通过LocalWordCount程序，调试Spark源码： LocalWordCount首先通过SparkConf设置Master和AppName，然后以SparkConf为参数实
·2015-11-07 11:26

NetWordCound

{SparkContext,SparkConf}importorg.apache.spark.streaming.
王上京小伙·2015-11-04 15:43

NetWordCound

{SparkContext,SparkConf}importorg.apache.spark.streaming.
王上京小伙·2015-11-04 15:43

Apache Spark-1.0.0浅析（二）：初始化

LocalWordCount中，需要首先创建SparkConf配置Master、AppName等环境参数，如果程序中没有设置，则会读取系统参数。
·2015-11-02 19:25

Spark源码系列（八）Spark Streaming实例分析

Example代码分析 val ssc = new StreamingContext(sparkConf, Seconds(1)); // 获得一个DStream负责连接 监听端口:地址 val
·2015-10-26 15:18

Spark修炼之道（高级篇）——Spark源码阅读：第二节 SparkContext的创建

{SparkConf,SparkContext} object
lovehuangjiaju·2015-10-25 00:00

Spark三种属性配置方式详细说明

并且可以通过SparkConf对象或者Java系统属性进行设置；2、环境变量(Environmentvariables)：这个可以分别对每台机器进行相应的设置，比如IP。
m635674608·2015-10-24 00:00

Spark 属性配置

在Spark1.0.0提供了3种方式的属性配置：SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用属性直接配置，如master使用
m635674608·2015-10-21 00:00

spark mllib 中的tf-idf算法计算文档相似度

{SparkConf,SparkContext} importscala.io.Source /** *Createdbyxiaoj
xiao_jun_0820·2015-10-20 15:00

Spark修炼之道（高级篇）——Spark源码阅读：第三节 Spark Job的提交

{SparkConf,SparkContext} objectSparkWordCount{ defmain(args:Array[String]){ if(args.length==0){ System.err.println
lovehuangjiaju·2015-10-19 23:00

Spark SQL Table Join(Python)

RightOuterJoin、FullOuterJoin）代码frompysparkimportSparkConf,SparkContextfrompyspark.sqlimportSQLContext,Rowconf=SparkConf
demigelemiao·2015-10-19 16:00

Spark RDD Union

示例Spark多个RDD（数据格式相同）“组合”为一个RDD代码frompysparkimportSparkConf,SparkContextconf=SparkConf().setAppName("spark_app_union
demigelemiao·2015-10-19 16:00

SparkContext类和SparkConf类

任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。
caiandyong·2015-10-18 21:33

Spark 配置指南

这些属性可以通过SparkConf对象,或者Java系统属性.环境变量可以为每台机器配置，比如IP地址，通过每个节点上的conf/spark-env.sh脚本.可同通过log4j.properties配置日志
m635674608·2015-10-16 00:00

Spark机器学习1

SparkConf对象包含了Spark集群配置的各种参数，SparkContext的初始化需要一个SparkConf对象。要想通过Scala来使用Spark
jjfnjit·2015-10-13 14:00

spark sql 连接使用mysql数据源

sparksql可以通过标准的jdbc连接数据库，获得数据源package com.xx; import org.apache.spark.SparkConf; import org.apache.spark.SparkContext
杰仪·2015-10-13 13:00

Spark-SQL连接Hive

defmain(args:Array[String]){valsparkConf=newSparkConf().setAppName("SparkSQLHive")valsc=newSparkContext(sparkConf
dabokele·2015-09-24 10:00

Spark-SQL连接MySql关系型数据库

{SparkContext,SparkConf}/***Creat
dabokele·2015-09-23 11:00

spark core源码分析4 worker启动流程

blog.csdn.net/yueqian_zhu/源码位置：org.apache.spark.deploy.worker.Worker.scala首先查看worker的main方法，与master类似，创建sparkConf
yueqian_zhu·2015-08-25 19:00

sparksql链接mysql

{SparkContext,SparkConf} obj
爱嘉牛LA·2015-08-19 09:00

Spark之WordCount

importjava.util.Arrays; importjava.util.List; importjava.util.regex.Pattern; importorg.apache.spark.SparkConf
xuguokun1986·2015-08-19 08:00

spark中使用partitioner

._ import org.apache.spark.SparkConf import java.util.Date import java.text.SimpleDateFormat import org.apache.hadoop.io.Text
ctor·2015-08-18 14:00

spark二次排序

._  object SecondarySort {   def main(args: Array[String]) {     val sparkConf = new SparkConf().setAppName
ctor·2015-08-18 13:00

spark技巧

Array[String]) {     System.setProperty("spark.akka.frameSize", "1024") }2.与yarn结合时设置队列val conf=new SparkConf
以诚相待·2015-08-10 10:00

Spark Streaming时间间隔性能测试

时间间隔time以如下形式作用于sparkstreaming：newStreamingContext(sparkConf,Milliseconds(time.toLong))测试数据源：logdatawithspeed10
chenfangfang_2015·2015-08-05 13:53

IDEA开发spark本地运行

{SparkConf,SparkContext} objectTest{ defmain(args:Array[String]){ if(args.le
爱嘉牛LA·2015-08-02 10:00

Spark on Yarn 模式编写workcount实例

importjava.util.ArrayList; importjava.util.List; importorg.apache.spark.SparkConf; importorg.apache.spark.api.java.JavaRDD
FeiNiBukeZyh·2015-07-15 17:00

eclipse 开发 spark Streaming wordCount

package com.scala.spark.dstream import org.apache.spark.SparkConf import org.apache.spark.SparkContext
寻梦2012·2015-07-14 16:00

第一个在Python 环境中开发的Spark应用示例

os os.environ['SPARK_HOME'] = r'E:\Dev\spark-1.4.0-bin-hadoop2.6' from pyspark import SparkContext, SparkConf
junanhonglei·2015-06-22 01:00

Spark SQL性能优化

性能优化参数针对SparkSQL性能调优参数如下：代码示例import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext
cloud-coder·2015-06-17 16:00

eclipse中单机运行统计单词

._ import org.apache.spark.SparkConf /*统计文档中单词字数出现频率大于threshold，然后再统计这些单词中每个字符出现的数量*/ object
幻想vs理想·2015-06-12 16:00

eclipse中运行spark机器学习代码

{SparkConf, SparkContext} import org.apache.spark.mllib.classification.LogisticRegressionWithSGD import
幻想vs理想·2015-06-11 12:00

Spark（十） -- Spark Streaming API编程

1.3.1SparkStreaming编程模型：第一步：需要一个StreamingContext对象，该对象是SparkStreaming操作的入口，而构建一个StreamingContext对象需要两个参数：1、SparkConf
qq1010885678·2015-05-25 19:00

spark map flatMap flatMapToPair mapPartitions 的区别和用途

importakka.japi.Function2;importorg.apache.spark.HashPartitioner;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD
luoluowushengmimi·2015-05-19 16:07

【Spark九十三】Spark读写Sequence File

{SparkConf,SparkContext} objectSequenceFileTest{ defmain(args:Array[String]){ valconf=newSparkConf
bit1129·2015-04-15 18:00

【Spark九十三】Spark读写Sequence File

{SparkConf,SparkContext} objectSequenceFileTest{ defmain(args:Array[String]){ valconf=newSparkConf
bit1129·2015-04-15 18:00

【Spark九十三】Spark读写Sequence File

{SparkConf,SparkContext} objectSequenceFileTest{ defmain(args:Array[String]){ valconf=newSparkConf
bit1129·2015-04-15 18:00

spark

package jspark; import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf
hadasione·2015-04-09 16:00

【Spark八十九】Spark Streaming处理速度滞后于读取速度测试

1.测试代码packagespark.examples.streaming importorg.apache.spark.SparkConf importorg.apache.spark.streaming.StreamingContext
bit1129·2015-04-03 15:00

【Spark八十九】Spark Streaming处理速度滞后于读取速度测试

1.测试代码packagespark.examples.streaming importorg.apache.spark.SparkConf importorg.apache.spark.streaming.StreamingContext
bit1129·2015-04-03 15:00

【Spark八十九】Spark Streaming处理速度滞后于读取速度测试

1.测试代码packagespark.examples.streaming importorg.apache.spark.SparkConf importorg.apache.spark.streaming.StreamingContext
bit1129·2015-04-03 15:00

【Spark八十】Spark RDD API二

{SparkConf, SparkContext} import org.apache.spark.SparkContext._ object CoGroupTest_05 { def main
bit1129·2015-02-26 11:00

【Spark八十】Spark RDD API二

{SparkConf, SparkContext} import org.apache.spark.SparkContext._ object CoGroupTest_05 { def main
bit1129·2015-02-26 11:00

【Spark八十】Spark RDD API二

{SparkConf, SparkContext} import org.apache.spark.SparkContext._ object CoGroupTest_05 { def main
bit1129·2015-02-26 11:00

【Spark七十九】Spark RDD API一

{SparkConf, SparkContext} //测试RDD的aggregate方法 object AggregateTest { def main(args: Array[String
bit1129·2015-02-25 19:00

【Spark七十九】Spark RDD API一

{SparkConf, SparkContext} //测试RDD的aggregate方法 object AggregateTest { def main(args: Array[String
bit1129·2015-02-25 19:00

【Spark七十九】Spark RDD API一

{SparkConf, SparkContext} //测试RDD的aggregate方法 object AggregateTest { def main(args: Array[String
bit1129·2015-02-25 19:00

【Spark七十六】Spark计算结果存到MySQL

{SparkContext,SparkConf}objectSparkMySQLIntegration{caseclassPerson
axxbc123·2015-02-21 19:19

【Spark七十六】Spark计算结果存到MySQL

{SparkContext, SparkConf} object SparkMySQLInteg
bit1129·2015-02-21 19:00

【Spark七十六】Spark计算结果存到MySQL

{SparkContext, SparkConf} object SparkMySQLInteg
bit1129·2015-02-21 19:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他