sparkcontext

[置顶] SparkML实战之一：线性回归

{SparkConf,SparkContext} importorg.apache.spark.mllib.linalg.Vectors importorg.apache.spark.mllib.regression
u012432611·2016-01-14 09:00

Spark环境下的Kmeans-Python实现

#设置应用名称，显示在spark监控页面上 sc=SparkContext(appName="MySparkApplication") #读取数据,data文件夹下有6个数据文件，这样写能全部读取，需要注意的是
u012784277·2016-01-11 17:00

[推荐系统] 基于Spark的 user-base的协同过滤

{SparkContext,SparkConf} importorg.apache.spark.sql.functions.{rank,de
逸之·2016-01-10 10:00

[推荐系统] 基于Spark的 user-base的协同过滤

{SparkContext,SparkConf} importorg.apache.spark.sql.functions.{rank,de
逸之·2016-01-10 10:00

Spark官方文档: Spark Configuration（Spark配置）

主要提供三种位置配置系统：环境变量：用来启动Sparkworkers，可以设置在你的驱动程序或者conf/spark-env.sh脚本中；java系统性能：可以控制内部的配置参数，两种设置方法：编程的方式（程序中在创建SparkContext
see_you_again·2016-01-07 15:00

spark RDD 小实验 测试

classSparkContext(clientDriver:String){varscname=clientDriver}abstractclassRDD(var sc:SparkContext){defpersist
duan_zhihua·2016-01-06 15:00

SparkContext.scala 源代码学习

https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/SparkContext.scalapackageorg.apache.spark
duan_zhihua·2016-01-03 17:00

spark源码梳理(1)-Action提交1

核心类：RDD、SparkContext、DAGScheduler、TaskSchedulerImpl、CoarseGrainedSchedulerBackEnd、C
distantlight1·2016-01-03 16:00

2016 第2讲 Scala面向对象彻底精通及Spark源码阅读

关于第二讲的作业，读懂SparkContext和RDD至少70%代码的源码。SparkContext
chinsun_1·2016-01-03 14:00

Spark修炼之道（高级篇）——Spark源码阅读：第十三节 Spark SQL之SQLContext（一)

作者：周志湖1.SQLContext的创建SQLContext是SparkSQL进行结构化数据处理的入口，可以通过它进行DataFrame的创建及SQL的执行，其创建方式如下：//sc为SparkContext
lovehuangjiaju·2015-12-30 07:00

想要征服Spark吗？这几个经典课程必学！

课程简介：51CTO学院联合IT十八掌推出征服Spark课程，通过学习掌握spark中分别使用java和scala语言创建sparkContext对象，掌握SparkContext中几种元数据掌握addFile
让往事随风·2015-12-29 17:00

Spark源码系列之Spark内核——Job提交

RDD触发Action算子时，会调用sc.runJob()，以count算子为例：defcount():Long=sc.runJob(this,Utils.getIteratorSize_).sum在SparkContext
u010376788·2015-12-28 12:00

[spark]倒排索引

{SparkConf,SparkContext}importorg.apache.spark.SparkContext.
xiewenbo·2015-12-27 15:00

eclipse上运行spark程序

项目结构图源代码importorg.apache.spark.SparkContext importorg.apache.spark.SparkContext._ importorg.apache.spark.SparkConf
pangjiuzala·2015-12-23 21:00

Spark External Datasets

1、textfile的RDD可以通过SparkContext’s textFile的方法来创建，这个方法需要传递一个文件路径URL作为参数，然
ljy2013·2015-12-21 15:00

spark 调度模块详解及源码分析

1classDAGScheduler2traitTaskScheduler3traitSchedulerBackend二基本流程三TaskSchedulerSchedulerBackend二DAGScheduler一用户代码中创建SparkContext
lujinhong2·2015-12-18 16:00

org.apache.spark.SparkException: Task not serializable

Exceptioninthread"main"org.apache.spark.SparkException:Tasknotserializable Causedby:java.io.NotSerializableException:org.apache.spark.SparkContext
KLordy·2015-12-17 20:17

王家林每日大数据语录Spark篇0011（2015.11.2于深圳）

saveAsTextFile方法会首先生成一个MapPartitionsRDD，该RDD通过雕工PairRDDFunctions的saveAsHadoopDataset方法向HDFS等输出RDD数据的内容，并在在最后调用SparkContext
王家林学院·2015-12-15 23:46

3-2、Intellij IDEA开发、集群提交运行Spark代码

{SparkContext,SparkConf}/***Createdbyadminon2015/12/15.*/object
鲍礼彬·2015-12-15 15:20

3-2、Intellij IDEA开发、集群提交运行Spark代码

{SparkContext,SparkConf} /** *Createdbyadminon2015/12/15
baolibin528·2015-12-15 15:00

Spark RDDRelation

{SparkConf,SparkContext} caseclassRecord(key:Int,value:String) objectRDDRelation{ defmain(args:A
超大的雪童子·2015-12-13 15:00

scala 样例类实现类似reduceByWindown的效果

{SparkContext,SparkConf} /***Createdbyctaoon2015/12/9.*/ objectWordCountextendsApp{ valconf=newSparkConf
cjuexuan·2015-12-10 09:00

spark RDD transformation和action操作

sparkRDDtransformation和action1.启用spark-shell,使用根目录下的test.txt作为文件的示例scala>scres30:org.apache.spark.SparkContext
qq_20545159·2015-12-09 14:00

Spark-Error-Common

WordCount { } WordCount{   (args: Array[]) {     hadoopAddr = conf = SparkConf().setAppName()     sc = SparkContext
wangyuqwerty·2015-12-08 22:43

Spark-Error-Common

报错WordCount {}WordCount{  (args: Array[]) {    hadoopAddr = conf = SparkConf().setAppName()    sc = SparkContext
wangyuqwerty·2015-12-08 22:43

《apache spark源码剖析》 学习笔记之SparkContext

SparkContext的初始化综述SparkContext是进行Spark应用开发的主要接口，是Spark上层应用与底层应用实现的中转站。
u011263983·2015-12-07 21:00

spark Sql

{SparkConf, SparkContext} object SLA_parquetSQL {   def main(args: Array[String]) {     val sc = new
jethai·2015-12-01 19:03

spark Sql

{SparkConf, SparkContext}object SLA_parquetSQL {  def main(args: Array[String]) {    val sc = new SparkContext
jethai·2015-12-01 19:03

Spark 连接 Hbase 配置

{SparkContext,Spark
power0405hf·2015-11-30 20:00

Scala in Spark 基本操作【未完】

[ApacheSpark大数据分析入门（一）(http://www.csdn.net/article/2015-11-25/2826324)spark笔记5:SparkContext，SparkConfspark
power0405hf·2015-11-29 22:00

利用Spark进行对账demo

{SparkContext,SparkConf} importjava.sql.DriverManager objectHandleGroupextendsApp{ valbeginTime=
see_you_again·2015-11-27 13:00

spark graphx 最短路径及中间节点

{SparkConf,SparkContext} importorg.apache.spark.graphx.
wingerli·2015-11-27 09:00

spark RDD系列------2.HadoopRDD分区的创建以及计算

SparkContext.objectFile方法经常用于从hdfs加载文件，从加载hdfs文件到生成Hado
u012684933·2015-11-26 14:00

Spark之任务调度（DagScheduler & TaskScheduler）

两种Scheduler在创建SparkContext对象的时候，一个核心的是模块就是调度器（Scheduler），在spark中Scheduler有两种：TaskScheduler（是低级的调度器接口）
laiwenqiang·2015-11-25 09:00

sparkJDBC mysql

{SparkContext,SparkConf} importorg.apache.spark.sql.Row importorg.apache.spark.sq
see_you_again·2015-11-19 10:00

spark基本概念

Application:基于Spark的用户程序，包含了一个driverprogram和集群中多个executorDriverProgram：运行Application的main()函数并创建SparkContext
see_you_again·2015-11-18 14:00

Spark as a Service之JobServer初测

SparkasaService之JobServer初测来源：互联网作者：佚名时间：2015-01-1908:25spark-jobserver提供了一个用于提交和管理ApacheSpark作业(job)、jar文件和作业上下文（SparkContext
javastart·2015-11-17 16:19

pyspark 【未完待续】

原文使用python操作spark1.使用命令行在PySpark命令行中，一个特殊的集成在解释器里的SparkContext变量已经建立好，变量名叫做sc，创建自己的SparkContext不会起作用。
power0405hf·2015-11-16 21:00

[Apache Spark源代码阅读]天堂之门——SparkContext解析

略微了解Spark源代码的人应该都知道SparkContext，作为整个Project的程序入口，其重要性不言而喻，很多大牛也在源代码分析的文章中对其做了非常多相关的深入分析和解读。
·2015-11-13 18:04

Spark源码分析（二）-SparkContext创建

 原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3872785.html    　　SparkContext是应用启动时创建的
·2015-11-13 14:08

Spark源码分析（四）-Job提交过程

p/3903478.html　　 　　  本文将以一个简单的WordCount为例来看看Job的提交过程 　　　　　　 　　  由输出的日志可以看出job的提交过程主要经过了SparkContext
·2015-11-13 13:36

Spark源码分析（三）-TaskScheduler创建

原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3879151.html 　　 　　在SparkContext创建过程中会调用createTaskScheduler
·2015-11-13 13:34

Spark集群之Spark history server额外配置

 Note：       driver在SparkContext使用stop()方法后才将完整的信息提交到指定的目录，如果不使用stop()方法，即使在指定目录中产生该应用程序的目录
·2015-11-13 07:39

Win7上Spark WordCount运行过程及异常

{SparkContext, SparkConf} import org.apache.spark.SparkContext._ o
·2015-11-13 07:37

Spark分析之Job Scheduling Process

经过前面文章的SparkContext、DAGScheduler、TaskScheduler分析，再从总体上了解Spark Job的调度流程 1、SparkContext将job的RDD DAG图提交给
·2015-11-13 02:51

Spark分析之TaskScheduler

主要功能如下： 1、一个TaskScheduler只为一个SparkContext服务，接收DAGScheduler提交过来的一组组的TaskSet； 2、TaskScheduler将task提交到集群中并执行
·2015-11-13 02:51

Spark运行架构

1、构建Spark Application运行环境； 在Driver Program中新建SparkContext（包含sparkcontext的程序称为Driver Program）；
·2015-11-13 02:49

Spark wordcount开发并提交到集群运行

eclipse package com.luogankun.spark.base import org.apache.spark.SparkConf import org.apache.spark.SparkContext
·2015-11-13 02:48

Spark分析之SparkContext启动过程分析

SparkContext作为整个Spark的入口，不管是spark、sparkstreaming、spark sql都需要首先创建一个SparkContext对象，然后基于这个SparkContext进行后续
·2015-11-13 02:44

Spark核心概念

;    基于spark的用户程序，包含了一个Driver Program以及集群上中多个executor；      spark中只要有一个sparkcontext
·2015-11-12 23:05
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他