sparkcontext

Spark入门遇见的问题2

问题1:对于RDD的序列化saveAsObjectFile之后，反序列化使用SparkContext.objectFile方法，当时序列化时候必须传入泛型告诉序列化器反序列化之后的对象类型。
javartisan·2016-10-08 15:00

Spark 学习（在master节点提供向外服务）

另外一种办法就是直接在SparkContext提供服务给客户端，用JavaWeb进行是一种选项，这里采用利用Scala编程，对外提供http服务，返回的结果是Json格式，下面是代码：importjavax.servle
hawksoft·2016-10-04 12:27

Spark-分布式集群运行

ApacheSpark支持三种分布式部署方式，分别是standalone、sparkonmesos和sparkonYARN2.架构Spark应用在集群上是独立运行的进程,通过主程序(mainprogram)的SparkContext
陈国林·2016-09-24 17:01

将hdfs上多个文本数据生成mllib的训练集测试集

{SparkConf,SparkContext}importsca
鱼香土豆丝·2016-09-23 10:24

win7下使用Idea远程连接spark执行spark pi，我自己的实验

*/import org.apache.spark.SparkContext._
moviebat·2016-09-16 09:46

Spark——SparkContext简单分析

本篇文章就要根据源码分析SparkContext所做的一些事情，用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类，足以说明SparkContext的重要性；这里先摘抄
伙伴几时见·2016-09-13 21:14

SparkSql 函数的使用

{SparkConf,SparkContext} importorg.apache.spark.sql.SQLContext importorg.apache.spark.sql.functions._
UnionIBM·2016-09-12 21:00

Spark学习笔记--Spark基础知识

驱动器程序通过一个SparkContext对象来
夜晓楼·2016-09-08 22:56

编写Spark测试用例

{SparkConf,SparkContext}importorg.scalatest.
breeze_lsw·2016-08-31 22:33

sparkrdd转dataframe的两种方式

{SparkConf,SparkContext}importorg.apache.spark.sql.{Row,SQLContext,SaveMode}importorg.apache.s
此用户有点逗号·2016-08-31 10:30

Spark入门实战指南——Spark运行架构

的概念和HadoopMapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码；lDriver：main()函数创建SparkContext
江湖小小虾·2016-08-29 10:59

Spark之SparkContext

SparkContext[睡着的水-hzjs-2016.8.20]一、SparkContext---1、Spark程序在运行的时候分为Driver和Executors两部分；---2、Spark的程序编写时基于
longhai_zheng·2016-08-20 17:45

leftOuterJoin操作

{SparkConf,SparkContext}objectJoinRDD{defmain(args:Array[String]){valconf=newSparkConf().setAppName("
houston123·2016-08-16 11:00

Spark百例

{SparkConf,SparkContext}/***Createdbyzyfon2016/9/29.*
燃烧的岁月_·2016-08-11 09:20

SparkMLlib---基于余弦相似度的用户相似计算

{SparkContext,SparkConf}importscala.collection.mutable.Map/***Createdby汪本成on2016/8/4.
汪本成·2016-08-04 21:55

spark-2.0-从RDD到DataSet

1、加载文件valrdd=sparkContext.textFile("./data.txt")valds=sparkSes
youdianjinjin·2016-07-31 15:00

Spark的job触发流程原理与stage划分算法分析

Spark的application中有多个action操作，每个action操作都会触发RDD的runJob操作，每个job以action操作为界限，而RDD的runJob则在SparkContext的
kongshuchen·2016-07-26 15:49

Spark--python开发实例

cond.pydefisFirstMinute(line):returnline.split('\t')[0]<'00:01:00'---------------sort.pyfrompysparkimportSparkContextsc=SparkContext
燃烧的岁月_·2016-07-26 08:20

翻译：Hadoop权威指南之Spark-5

驱动持有（hosts）应用（SparkContext），为工作调度任务。执行器独立于应用，在应用的持续时间内运行，执行应用的任务。
qinm08·2016-07-23 14:25

Spark 官方文档（2）——集群模式

组件spark应用程序通过主程序的SparkContext对象进行协调，在集群上通过一系列独立的处理流程运行。
bigbigtree·2016-07-17 21:00

rdd的join使用

{SparkContext,SparkConf} /** *Createdby汪本成on2016/7/2. */ objectrddJoin{ defmain(args:Array[String])
sinat_31726559·2016-07-02 22:00

16.Spark Streaming源码解读之数据清理机制解析

数据清理总览二、SparkStreaming数据清理过程详解三、SparkStreaming数据清理的触发机制SparkStreaming不像普通Spark的应用程序，普通Spark程序运行完成后,中间数据会随着SparkContext
zhou_yuefei·2016-07-01 15:00

16.Spark Streaming源码解读之数据清理机制解析

数据清理总览二、SparkStreaming数据清理过程详解三、SparkStreaming数据清理的触发机制SparkStreaming不像普通Spark的应用程序，普通Spark程序运行完成后,中间数据会随着SparkContext
zhou_yuefei·2016-07-01 15:00

16.Spark Streaming源码解读之数据清理机制解析

SparkStreaming 数据清理过程详解三、SparkStreaming 数据清理的触发机制    SparkStreaming不像普通Spark的应用程序，普通Spark程序运行完成后,中间数据会随着SparkContext
zhou_yuefei·2016-07-01 15:00

spark中自然语言处理的一些方法

{SparkConf,SparkContext}importorg.apache.spark.sql.SQLContextimp
旭旭_哥·2016-06-27 12:23

Spark进阶学习——Stage划分

当rdd触发action操作之后，会调用SparkContext的runJob方法，最后调用的DAGScheduler.handleJobSubmitted方法完成整个job的提交。
sbq63683210·2016-06-22 16:00

Spark源码学习（3）——Job Runtime

基本流程这里从SparkContext中的runJob方法开始跟踪它的源码过程。
sbq63683210·2016-06-12 17:00

利用spark进行圆周率的计算

{SparkContext,SparkConf} importscala.math.random /** *利用spark进行圆周率的计算 *Createdby汪本成on2016/6/10. */ objectSparkPai
sinat_31726559·2016-06-10 02:00

Spark(1.6.1) Sql 编程指南+实战案例分析

为了创建一个基本的SQLContext，你所需要的是一个SparkContext。除了基本的SQ
tanggao1314·2016-06-06 14:00

[Spark应用]-- 实现分组取topN

class190class256class187class176class288class195class174class287class267class277二、直接献上代码packagecom.scalaimportorg.apache.spark.SparkConfimportorg.apache.spark.SparkContext
highfei2011·2016-06-04 15:52

[Spark进阶]-- 广播变量

第一种：不可变类型 packagecom.scala importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext /**  
highfei2011·2016-06-04 00:00

Spark 算子

Action：行动算子，这类算子会触发SparkContext提交Job作业。一：Transformation：转换算子1.mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。
tanggao1314·2016-06-03 22:00

Spark DataFrames入门指南：创建和操作DataFrame

从csv文件创建DataFrame主要包括以下几步骤：1、在build.sbt文件里面添加spark-csv支持库；2、创建SparkConf对象，其中包括Spark运行所有的环境信息；3、创建SparkContext
Wei-L·2016-05-23 11:00

DT大数据梦工厂Spark定制班笔记（005）

SparkStreamingJob运行流程图所有代码分析均基于ApacheSpark1.6.1SparkStreaming初始化SparkStreaming初始化的时候，会初始化一系列对下如SparkContext
ry076·2016-05-21 23:01

spark快速大数据分析之读书笔记

创建RDD最简单的方式就是把程序中一个已有的集合传给SparkContext的parallelize()方法。val lines = sc.textFi
sinat_29581293·2016-05-21 09:00

Spark中组件Mllib的学习3之用户相似度计算

{SparkConf,SparkContext} importscala.collection.mutable.Map object
bob601450868·2016-05-16 20:00

Spark天堂之门

1，Spark程序在运行的时候分为Driver和Executors两部分；2，Spark的程序编写是基于SparkContext的，具体来说包含两方面：a)Spark编程的核心基础---RDD，是由SparkContext
sundujing·2016-05-15 17:00

Spark Runtime内幕

3.当driver中的sparkcontext初始化的时候会提交程序给master，master如果接
sundujing·2016-05-15 16:00

Spark的RDD简单操作

{SparkConf,SparkContext} /** *hadoop *spark *tachyon *hadoop *hbase *spark */ /** *CreatedbyAdministratoron2016
baolibin528·2016-05-14 13:00

Spark Top N

{SparkContext,SparkConf} objectTopNBasic{ defmain(args:Array[String]){ valconf=newSparkConf() conf.setAppName
sundujing·2016-05-13 23:00

第17课：RDD案例（join、cogroup等实战)

cogroupjoin算子代码实战：//通过代码演示join算子val conf= new SparkConf().setAppName("RDDDemo").setMaster("local")val sc= new SparkContext
18610086859·2016-05-13 22:17

spark笔记-MLlib之kmeans

{SparkConf,SparkContext} importorg.apache.spark.mllib.clustering.KMeans importorg.apache.spark.mllib.linalg.Vectors
q383700092·2016-05-13 20:00

sparkSQL实际应用

usr/local/spark/bin$spark-submit--class"getkv"/data/chun/sparktes.jar 1、查询KV importorg.apache.spark.SparkContext
残阳飞雪·2016-05-13 09:00

spark笔记-SQL

spark--SQL笔记1.6spark-shell--masterlocal[1]创建valsc:SparkContext//AnexistingSparkContext.valsqlContext=
余音丶未散·2016-05-11 21:39

spark笔记-SQL

spark--SQL笔记1.6spark-shell--masterlocal[1]创建valsc:SparkContext//AnexistingSparkContext.valsqlContext=
q383700092·2016-05-11 21:00

Spark内核架构

SparkContext创建：高层DAGScheduler,底层TaskScheduler,SchedulerBackendapplication=driver+executorSpark的程序分成两个部分
sundujing·2016-05-10 17:00

Spark中文手册6：Spark-sql由入门到精通

问题导读1、什么是SparkContext？2、如何配置Parquet？3、如何高效的从ApacheHive中读出和写入数据？
wanmeilingdu·2016-05-09 21:00

PageRank

{SparkContext,SparkConf}importorg.apache.spark.graphx.
泡海椒·2016-05-08 14:00

第4课：Spark Streaming事物处理彻底掌握

ExactlyOnce:1、能够处理且只被处理一次2、能够输出且只被输入一次数据会积累到一定的程度，才会写到磁盘或内存，所以在还没积累到一定程度的时候，数据有可能丢失几条.但是和Kafka结合就不会.SparkContext
龚湄燕·2016-05-08 14:56

RDD中的转换和action（二）PairRDD操作

{SparkConf,SparkContext} /***Createdbylegotimeon2016/5/5.
legotime·2016-05-06 20:00
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他