sparkcontext

Spark编程模型解析

{SparkConf,SparkContext}/***Createdbysunyonggangon16-4-12.
yonggang_sun·2017-12-03 05:40

［转载］spark 中几个重要概念

Application:用户在spark上构建的程序，包含了driver程序以及集群上的executors.DriverProgram:运行main函数并且创建SparkContext的程序。
luomoxyz·2017-12-03 04:33

提交第一个spark作业到集群运行

{SparkConf,SparkContext}objectWordCount{defmain(arg
留歌36·2017-12-02 23:33

spark pyspark无法运行

mostrecentcalllast):File"/Users/comp_name/Downloads/spark-0.9.1/python/pyspark/shell.py",line32,insc=SparkContext
Locky_LLL·2017-12-02 22:42

spark eclipse开发调试 本地单机模式

Exceptioninthread"main"org.apache.spark.SparkException:AmasterURLmustbesetinyourconfigurationatorg.apache.spark.SparkContext
trista0929·2017-11-24 17:59

Spark的架构和任务调度

的模式，会在提交任务的这台机器上面开启一个driver线程，如果是cluster的模式，会随机选择一台机器开启driver线程，driver开启以后，就开始打算执行提交的代码，开启driver的时候对SparkContext
CatherineHuangTT·2017-11-23 22:01

Spark中加载本地（或者hdfs）文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件

Spark中加载本地(或者hdfs)文件以及spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件在正常调用过程中，难免需要对多个文件夹下的多个文件进行读取，
Data_IT_Farmer·2017-11-08 16:55

Spark源码解读--任务生成和提交过程

minimaster:7077\/home/wc.jarDriver端:1.调用SparkSubmit类,内部执行submit→doRunMain→通过反射获取应用程序的主类对象→执行主类的main方法SparkContext2
长胖的wo一定特美·2017-11-05 19:25

Spark源码走读（二） —— Job的提交

{SparkConf,SparkContext}objectSparkWordCount{defmain(args:Array[String]){if(args.length==0){System.exit
Austing_cai·2017-10-20 21:55

使用累加器配合广播变量做码表动态更新

一个广播变量可以通过调用SparkContext.broadcast(v)方法从一个初始变量v中创建。
寒郊無留影·2017-10-18 13:27

Spark RDD API解析及实战

{HashPartitioner,SparkConf,SparkContext}importscala.collection.mutable.ArrayBufferobjectRDDTest{defmain
土豆拍死马铃薯·2017-10-12 22:04

spark创建RDD方式

调用SparkContext的parallelize()方法进行创建并行化的数据集合。
青于蓝胜于蓝·2017-10-08 15:45

Caused by: java.io.NotSerializableException: org.apache.spark.SparkContext

当你执行各种转换（map，flatMap，filter等等）的时候，会有以下转换：1、在driver节点上序列化，2、上传到合适的集群中的节点，3、在节点上执行反序列化，4、最后在节点上执行。当然你也可以在本地运行，除了没有网络传输，其他的过程都一样的，这样的好处就是方便调试在你部署之前。在这个例子中，你在classTest1中定义了一个方法，并运用在了map中，Spark知道不能序列化这个方法，
Raini.闭雨哲·2017-09-29 14:31

eclipse IDEA maven scala spark 搭建 成功运行 sparkContext

整了好几天,把eclipse弄能用..期间报各种错,进度也被耽误了…archetype和pom部分引用他人的,可惜调试的太多,没有记录下作者,这里歉意+感谢.环境:Hadoop–>2.6.4Scala–>2.11.8Spark–>2.2.0IDE,eclipseEE+scalaIDE插件–>oxygen:pom有报错,但是可用scalaIDE–>4.7-RC:目前spark的本地/集群都可执行.I
由寞·2017-09-26 22:17

spark2.x由浅入深深到底系列七之RDD python api详解二

先创建一个RDD：conf = SparkConf().setAppName("appName").setMaster("local")sc = SparkContext(conf=conf)parallelize_rdd
tangweiqun·2017-09-23 22:23

SparkCore解析json数据fastjson

{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDobjectsimple{defmain(args:Array[String]){valconf
小小的_我·2017-09-23 17:52

Spark源码解析之SparkStreaming中Receiver的启动

我们都知道StreamingContext是SparkStreaming程序的的主要入口，我们先看一下它的部分源码：classStreamingContextprivate[streaming](sc_:SparkContext
yzgyjyw·2017-09-21 09:03

Spark求平均数,父子关系

{SparkConf,SparkContext}objectAppextendsApp{valconf=newSparkConf().setMaster("local[*]").setAppName("
dymkkj·2017-09-20 16:41

spark2.x由浅入深深到底系列六之RDD java api详解三

学习任何spark知识点之前请先正确理解spark，可以参考：正确理解spark本文详细介绍了sparkkey-value类型的rddjavaapi一、key-value类型的RDD的创建方式1、sparkContext.parallelizePairsJavaPairRDD
tangweiqun·2017-09-19 21:58

spark2.x由浅入深深到底系列六之RDD java api调用scala api的原理

正确理解sparkRDDjavaapi其实底层是调用了scala的api来实现的，所以我们有必要对javaapi是怎么样去调用scalaapi，我们先自己简单的实现一个scala版本和java版本的RDD和SparkContext
tangweiqun·2017-09-17 22:56

spark

{SparkConf,SparkContext}objectMain{defmain(arg
Gpwner·2017-09-15 14:47

Spark运行架构

Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码；lDriver：Spark中的Driver即运行上述Application的main()函数并且创建SparkContext
张永清·2017-09-13 19:00

Spark应用程序的运行架构：

（2）复杂点说：提交应用程序，构建sparkContext，构建DAG图，提交给scheduler进行解析，解析成一个个stage，提交给集群，由集群任务管理器进行调度，
A_Eternal·2017-09-13 15:42

Spark2.x学习笔记：7、Spark应用程序设计

7、Spark应用程序设计7.1基本流程1.创建SparkContext对象每个Spark应用程序有且仅有一个SparkContext对象，封装了Spark执行环境信息2.创建RDD可以冲Scala集合或者
程裕强·2017-09-12 15:21

spark2.2.0源码学习过程记录：Day8

3、源码学习从书中看出入口类为SparkContext，但是看代码中，在新
猫耳山大王·2017-09-09 18:45

第一个spark scala程序——wordcount

{SparkContext,S
code_caq·2017-09-06 19:43

spark2.2.0源码学习过程记录：Day3

Day31、读《apachespark源码剖析》第三章第3.2节、3.3节因为3.3节的内容是是讲repl的，我暂时并不关系，所以这部分内容看看书就可以了而3.2节的内容是讲SparkContext的初始化
猫耳山大王·2017-09-02 16:42

Spark Web UI 的应用说明

每个SparkContext运行时，都会运行一个WebUI，默认4040端口。解读：每个SparkApplication都会开启一个自己的WebUI，默认端口号为4040。
初级以上·2017-08-31 23:32

Spark编程进阶之共享变量

的两个共享变量，累加器和广播变量分别为结果聚合与广播这两种常见的通信模式突破了这一限制累加器查找包含电影信息包含1996这一信息出现的次数frompysparkimportSparkContextsc=SparkContext
光与热·2017-08-31 19:52

spark使用java读取hbase数据做分布式计算

问题导读：1.如何初始化sparkContext？2.如何设置查询条件？3.如何获得hbase查询结果Result？由于spark提供的hbaseTest是scala版本，并没有提供java版。
克终·2017-08-24 23:10

计算最大的关系网络的Spark实现

frompysparkimportSparkConf,SparkContextconf=SparkConf().setMaster("local").setAppName("Myapp")sc=SparkContext
conggova·2017-08-24 14:15

Spark 本地模式

{SparkConf,SparkContext}objectForeachDemo{defmain(args:Array[String]):Unit={/*local[2]表示启动本地二个进程，local
freefish_yzx·2017-08-23 23:00

maven scala idea 步骤

{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]){//i
机智帅气的葫芦娃·2017-08-22 13:48

Spark 分层抽样与求最大值最小值

{SparkConf,SparkContext}/***分层抽样**Createdbydrguoon2017/8/21.
光于前裕于后·2017-08-21 16:38

Spark kafka实时消费实现

{Logging,SparkConf,SparkContext}importorg.apache.spark.streaming.
iris_new·2017-08-21 14:06

Spark处理XML文件与XLSX/XLS文件

{SparkConf,SparkContext}/***xml数据处理（SQLContext）**Createdbydrguoon
光于前裕于后·2017-08-18 17:43

Spark中加载本地（或者hdfs）文件以及SparkContext实例的textFile使用

默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读本地文件读取sc.textFile("路径").在路径前面加上file://表示从本地文件系统读，如file:///home/user/spark/README.md‍网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建RDD，类似sc.textFile(
光与热·2017-08-13 18:57

SparkContext#runJob方法中func函数的作用

org.apache.spark.SparkContext#runJob方法：/****@paramrdd待计算的rdd*@paramfunc在rdd上运行的函数(不是我们Spark具体的计算逻辑),该函数一般是
javartisan·2017-08-11 10:27

一个Spark Demo与代码详解

简单的Nginx日志统计代码详解##载入依赖包frompysparkimportSparkContext##生成并初始化一个Spark任务sc=SparkContext("local","SimpleApp
CalicoBox·2017-08-04 18:48

sparksql 简单使用

{SparkConf,SparkContext}importorg.apache.spark.sql.SQLContext/***Createdbyjieon2017/7/
lijie_cq·2017-07-31 23:53

Spark机器学习(7)：KMenas算法

{SparkConf,SparkContext}importorg.apache.spark.mllib.linalg.Vectorsimportorg.apache.spark.mllib.clustering
MSTK·2017-07-11 18:00

Spark如何在一个SparkContext中提交多个任务

阅读更多在使用spark处理数据的时候，大多数都是提交一个job执行，然后job内部会根据具体的任务，生成task任务，运行在多个进程中，比如读取的HDFS文件的数据，spark会加载所有的数据，然后根据block个数生成task数目，多个task运行中不同的进程中，是并行的，如果在同一个进程中一个JVM里面有多个task，那么多个task也可以并行，这是常见的使用方式。考虑下面一种场景，在HDF
qindongliang1922·2017-07-04 19:00

spark源码分析之SparkContext初始化一

//Createandstarttheschedulerval(sched,ts)=SparkContext.createTaskScheduler(this,master)_schedulerBackend
字母哥·2017-07-04 18:00

【实践】spark streaming中的广播变量应用

一个广播变量可以通过调用SparkContext.broadcast(v)方法从一个初始变量v中创
一寒惊鸿·2017-07-04 15:53

Spark官方文档: Spark Configuration（Spark配置）

主要提供三种位置配置系统：环境变量：用来启动Sparkworkers，可以设置在你的驱动程序或者conf/spark-env.sh脚本中；java系统性能：可以控制内部的配置参数，两种设置方法：编程的方式（程序中在创建SparkContext
我不是九爷·2017-07-03 11:00

Spark中的Application、SparkSession、SparkContext、RDD及其拓展

接触Spark的时候容易产生这样的疑惑，RDD是什么，SparkContext是什么，SparkSession又是什么...它们之间又是什么关系？
明仔很忙·2017-06-30 09:07

Spark作业的Stage划分，Task创建分发一直到提交给Spark的Executor的线程池执行全过程

本文是Spark提交作业到Task执行的宏观概括图作业提交流程：提交作业之后(省略SparkSubmit的分析不走)->反射创建mainClass->初始化SparkContext->使用sparkContext
javartisan·2017-06-27 22:03

Spark作业的Stage划分，Task创建分发一直到提交给Spark的Executor的线程池执行全过程

本文是Spark提交作业到Task执行的宏观概括图作业提交流程：提交作业之后(省略SparkSubmit的分析不走)->反射创建mainClass->初始化SparkContext->使用sparkContext
javartisan·2017-06-27 22:03

Spark机器学习（Chapter 04）推荐系统

代码：#coding:utf-8frompysparkimportSparkContextsc=SparkContext("local[4]","MovieLensSparkApp")rawData=sc.textFile
星之空殇·2017-06-26 22:19

spark机器学习（Chapter 03）--使用spark-python进行数据预处理和特征提取

2、数据分析及可视化表示2.1用户数据分析及可视化对用户数据进行基本统计如下：#coding:utf-8frompysparkimportSparkContextsc=SparkContext("local
星之空殇·2017-06-24 23:03
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他