SparkConf

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

我们下面以一个例子来解析一下：package com.dt.spark.streaming import com.dt.spark.common.ConnectPool import org.apache.spark.SparkConf
lqding1980·2016-05-07 15:05

RDD中的转换和action（二）PairRDD操作

{SparkConf,SparkContext} /***Createdbylegotimeon2016/5/5.
legotime·2016-05-06 20:00

spark中transformation操作的各种算子（java版）

packagecn.spark.study.core;importjava.util.Arrays;importjava.util.Iterator;importjava.util.List;importorg.apache.spark.SparkConf
kongshuchen·2016-05-06 19:00

sparkStreaming在线过滤黑名单

import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD
数据china·2016-05-05 10:00

第97课：Spark Streaming 结合Spark SQL 案例

{SparkContext, SparkConf} import org.apache.spark.streaming.{StreamingContext, Duration} /**  * 使用S
lqding1980·2016-05-04 22:58

第97课：Spark Streaming 结合Spark SQL 案例

{SparkContext, SparkConf}import org.apache.spark.streaming.
lqding1980·2016-05-04 22:58

idea演示

{SparkConf,SparkContext}importorg.apache.spark.sql.SQLContextcaseclassPerson(name:String,age:Int)objectSQLOnSpark
泡海椒·2016-05-03 20:00

spark内核架构解密（13）

spark的应用程序总体来说，主要包括两部分，一部分是Driver,其包括了SparkConf和SparkContext，另一部分就是Executor，运行具体的业务逻辑。
lct19910210·2016-05-02 18:44

imf大数据：第95课：streaming实战，实现在线热搜索词

importorg.apache.spark.SparkConf importorg.apache.spark.streaming.
freshghost1·2016-05-02 16:00

Adam学习13之Fasta/Fastq/SAM/BAM文件格式数据读取

0.代码（读取方法）：packageorg.bdgenomics.adamLocal.algorithms.test importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext
bob601450868·2016-04-30 22:00

第一个Spark应用程序之Java & Scala版 Word Count

大数据梦工厂系列教程场景分别用scala与java编写第一个Spark应用程序之WordCount代码一、scala版packagecool.pengych.spark importorg.apache.spark.SparkConf
PENGYUCHENG32109·2016-04-28 12:00

第83课：Scala和Java二种方式实战Spark Streaming开发

3、Sparkstreaming基于SparkCore进行计算，需要注意事项：设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为SparkStreaming
18610086859·2016-04-28 10:13

Spark组件之Spark Streaming学习4--HdfsWordCount 学习

如果有新增加的文件，则进行流计算 valssc=newStreamingContext(sparkConf,Seconds(2))处理跟前面差不多2.运行：输入：hado
bob601450868·2016-04-26 21:00

第83讲：Scala和Java二种方式实战Spark Streaming开发

3、Sparkstreaming基于SparkCore进行计算，需要注意事项：设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为SparkStreaming
qq_21234493·2016-04-26 14:00

第87课：Flume推送数据到SparkStreaming案例实战和内幕源码解密

这些数据可以来自于本地文件、HDFS等二、代码实战（Java版本代码）第一步：配置SparkConf：1，至少2条线程：因为SparkStr
18610086859·2016-04-25 22:46

Scala和Java二种方式实战Spark Streaming开发

3、Sparkstreaming基于SparkCore进行计算，需要注意事项：设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为SparkSt
lxhandlbb·2016-04-21 18:00

spark1.4的本地模式编程练习（1）

WordcountUserMiningTweetMiningHashtagMiningInvertedIndexTestTest代码package tutorial; import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf
FatherAbraham·2016-04-16 20:00

spark1.4的本地模式编程练习（1）

WordcountUserMiningTweetMiningHashtagMiningInvertedIndexTestTest代码packagetutorial; importjava.util.Arrays; importjava.util.List; importorg.apache.spark.SparkConf
u014028392·2016-04-16 17:00

《Spark MLlib 机器学习》第三章代码

{SparkConf,SparkContext} importbreeze.linalg._ importbreeze.numerics._ importorg.apache.s
sunbow0·2016-04-12 17:00

spark 分析日志文件(key,value)

{SparkContext,SparkConf} objectSim
残阳飞雪·2016-04-12 17:00

《Spark MLlib 机器学习》第二章代码

{SparkConf,SparkContext} importorg.apache.spark.SparkContext._ objectrdd_test01{ defmain(args:Array
sunbow0·2016-04-12 16:00

Spark 编程基础

{SparkContext,SparkConf} importorg.apache.spark.SparkContext._ objectWordCount1{ defmain(args:Array[
Crystal_Zero·2016-04-10 00:00

spark源码阅读（十五）--securityManager

该类默认只用一个实例，所以的app使用同一个实例，下面是该类的所有源代码：private[spark]classSecurityManager(sparkConf:SparkConf)extendsLoggingwithSecretKeyHolder
colossus_bigdata·2016-04-07 13:02

Spark 云计算 ML 机器学习教程 以及 SPARK使用教程

spark的一个分布式数据源的计算的抽象   sparkContext为spark环境上下文用于保持集群连接，创建RDD并行数据accumularboardcast变量用户创建sparkjob作业   SparkConf
zhuyuping·2016-04-04 01:00

Spark 1.6.0 源码精读

Spark1.6.0SparkConf：Spark应用程序的配置/**   * SparkConf.scala    *   *   * Configuration for a Spark application
柯里昂·2016-04-03 19:00

SparkContext初始化的核心过程

1、依据sparkContext的构造方法的参数sparkConf创建一个sparkEnv2、初始化sparkUI，以便sparkApplication运行时方便用户监控默认端口40403、创建和启动scheduler
feierxiaoyezi·2016-04-02 10:00

IDEA读取本地文件进行处理的方式

{SparkContext,SparkConf} objectWordCount{ defmain(args:Array[String]){ //第一步：spark运行的环境，这个是必须的步骤 valconf
legotime·2016-04-01 20:00

spark wordcount 第一个spark 程序

{SparkConf,SparkContext} /** *Createdbycmcc-B100036on2016/4/1. */ objectWordCount{ defmain(args
knight_black_bob·2016-04-01 16:00

spark wordcount 第一个spark 程序

{SparkConf,SparkContext}/***Createdbycmcc-B100036on2016/4/1.
knight_black_bob·2016-04-01 16:00

spark wordcount 第一个spark 程序

{SparkConf,SparkContext}/***Createdbycmcc-B100036on2016/4/1.
knight_black_bob·2016-04-01 16:00

Driver端如何正确取消Spark中的job

SparkContext提供了一个取消job的apiclassSparkContext(config:SparkConf)extendsLoggingwithExecutorAllocationClient
wl044090432·2016-03-30 16:00

Spark DataFrames

从csv文件创建DataFrame主要包括以下几步骤：1、在build.sbt文件里面添加spark-csv支持库；2、创建SparkConf对象，其中包括Spark运行所有的环境信息；3、创建SparkContext
Wei-L·2016-03-20 21:22

Spark DataFrames

从csv文件创建DataFrame主要包括以下几步骤：1、在build.sbt文件里面添加spark-csv支持库；2、创建SparkConf对象，其中包括Spark运行所有的环境信息；3、创建SparkContext
LW_GHY·2016-03-20 21:00

Spark机器学习：spark基本使用及命令

http://blog.csdn.net/pipisorry/article/details/50931274Spark编程模型SparkContext类和SparkConf类记着，，，下次写吧。。。。
pipisorry·2016-03-19 15:00

Spark的配置参数

Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置。
openthings·2016-03-17 17:00

本地模式使用JAVA SACLA 开发 Spark SQL DataFrame

":"Andy","age":30}{"name":"Justin","age":19}java packagecom.dt.sparkApps.sql;importorg.apache.spark.SparkConf
duan_zhihua·2016-03-14 21:00

踩坑事件：windows操作系统下的eclipse中编写SparkSQL不能从本地读取或者保存parquet文件

这个大坑.......如题，在Windows的eclipse中编写SparkSQL代码时，编写如下代码时，一运行就抛出一堆空指针异常：//首先还是创建SparkConf SparkConfconf=newSparkConf
王宝生·2016-03-09 16:00

002.Spark三种属性配置方式详细说明

并且可以通过SparkConf对象或者Java系统属性进行设置；2、环境变量(Environmentvariables)：这个可以分别对每台机器进行相应的设置，比如IP。这
江中炼·2016-03-09 12:00

spark的runJob方法

//保存的路径 valbasePath="/tmp/kuan2" //设置日志级别 //Example.setStreamingLogLevels() //创建sparkConf valsparkConf
luckuan1985·2016-03-07 13:00

Spark简单项目之词频统计

{SparkContext, SparkConf} //这样引入是为引入reduceByKey import org.apache.spark.SparkContext._ /**   在给定的莎士比亚文集上
sucre·2016-03-06 19:00

使用scala开发本地测试的Spark WordCount程序

packagecom.yh.spark importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext objectWordCount
yudedipan·2016-03-04 09:00

spark streaming kafka example

packageorg.apache.spark.examples.streaming importkafka.serializer.StringDecoder importorg.apache.spark.SparkConf
tneduts·2016-03-02 19:00

scala 构造方法（默认构造器）

与类名放在一起的（方法）是默认构造器classSparkContext(config:SparkConf)extendsLoggingwithExecutorAllocationClient{...defthis
gdmzlhj1·2016-03-01 13:25

day17:RDD案例（join、cogroup、reduceByKey、groupByKey, join cogroup

{SparkConf,Spa
·2016-02-24 17:00

Spark天堂之门(SparkContext)解密(DT大数据梦工厂)

、Spark天堂之门；2、SparkContext使用案例鉴赏；3、SparkContext内幕；4、SparkContext源码解密；SparkContext是编写任意Spark程序的第一个对象，用SparkConf
feiweihy·2016-02-20 13:46

Spark的学习(三)

下面的例子是按照key的值进行累加操作：packageday02 importorg.apache.spark.SparkConf importorg.apache.spark.SparkCon
sihuahaisifeihua·2016-02-18 23:00

Spark的学习(二)

学习Spark必须要从RDD(弹性数据库)学习，RDD支持很多的API操作，最最基础的就是如何读取数据，请看下面的Demo：packageday01 importorg.apache.spark.SparkConf
sihuahaisifeihua·2016-02-18 19:00

spark storage之SparkEnv

ok，首先看看SparkContext中sparkEnv相关代码：1private[spark]defcreateSparkEnv( 2conf:SparkConf, 3isLocal:Boolean
月影舞华·2016-02-16 10:00

spark storage之SparkEnv

ok，首先看看SparkContext中sparkEnv相关代码：1private[spark]defcreateSparkEnv( 2conf:SparkConf, 3isLocal:Boolean
月影舞华·2016-02-16 10:00

重磅！Spark运行内幕 打通Spark系统运行内幕机制流程

Spark运行内幕1、编写的一个WordCount的例子【例】WordCount代码1.valconf=newSparkConf()//创建SparkConf对象conf.setAppName("Wow
段智华·2016-02-14 13:47
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他