sparkcontext

jblas-1.2.4.jar : spark第三方依赖打包

nickpentreath)(著)蔡立宇;黄章帅;周济民(译)人民邮电出版社2015-09-01P72其中使用了jblas包的接口，在我的应用中也使用了这个包的接口 importorg.apache.spark.SparkContext
zhzhji440·2016-05-06 18:00

Spark计算模型与I/O机制

1）SparkContext中的textFile函数从HDFS读取日志文件，输出变量file。
ZyZhu·2016-05-06 15:28

忽然遇到报错：ERROR spark.SparkContext: Error initializing SparkContext.

Systemmemory100663296mustbeatleast4.718592E8.Pleaseusealargerheapsize.在Eclipse里开发Spark项目，尝试直接在spark里运行程序的时候，遇到下面这个报错：很明显，这是JVM申请的memory不够导致无法启动SparkContext
matiji66·2016-05-06 15:00

Spark Mlib TFIDF源码详读 笔记

下面是SparkMlib中，TF_IDF算法调用的一个实例：def main(args:Array[String]){         val sc: SparkContext = null                         
悠悠_·2016-05-05 18:00

sparkStreaming在线过滤黑名单

import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD
数据china·2016-05-05 10:00

第97课：Spark Streaming 结合Spark SQL 案例

{SparkContext, SparkConf} import org.apache.spark.streaming.{StreamingContext, Duration} /**  * 使用S
lqding1980·2016-05-04 22:58

第97课：Spark Streaming 结合Spark SQL 案例

{SparkContext, SparkConf}import org.apache.spark.streaming.
lqding1980·2016-05-04 22:58

idea演示

{SparkConf,SparkContext}importorg.apache.spark.sql.SQLContextcaseclassPerson(name:String,age:Int)objectSQLOnSpark
泡海椒·2016-05-03 20:00

spark内核架构解密（13）

spark的应用程序总体来说，主要包括两部分，一部分是Driver,其包括了SparkConf和SparkContext，另一部分就是Executor，运行具体的业务逻辑。
lct19910210·2016-05-02 18:44

test

Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码；lDriver：Spark中的Driver即运行上述Application的main()函数并且创建SparkContext
泡海椒·2016-05-02 16:00

Adam学习13之Fasta/Fastq/SAM/BAM文件格式数据读取

packageorg.bdgenomics.adamLocal.algorithms.test importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext
bob601450868·2016-04-30 22:00

第一个Spark应用程序之Java & Scala版 Word Count

WordCount代码一、scala版packagecool.pengych.spark importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext
PENGYUCHENG32109·2016-04-28 12:00

Spark组件之Spark Streaming学习3--结合SparkSQL的使用(wordCount)

github.com/xubo245/SparkLearning1.通过建立一个对象来获取Streaming的单例对象valsqlContext=SQLContextSingleton.getInstance(rdd.sparkContext
bob601450868·2016-04-26 17:00

Spark 基础 —— RDD（二）

Spark有两种方法可以创建RDD：（1）用SparkContext基于外部数据源创建RDD，外部数据源包括HDFS上的文件通过JDBC访问的数据库表Sparkshell创建的本地对象集合（2）在一个或多个已有
lanchunhui·2016-04-23 15:00

Spark疑问1之如何查看sparkContext没有关闭的sc

更多代码请见：https://github.com/xubo245/SparkLearningSpark疑问1之如何查看sparkContext没有关闭的在跑完spark程序后有时会忘记执行sc.stophadoop
bob601450868·2016-04-17 15:00

Spark 之SparkContext 源码精读3

书接上文，SparkContext的CoarseGrainedSchedulerBackend已创建完毕，并且Driver也可以通过DriverEndpoint发消息了。
柯里昂·2016-04-14 07:00

《Spark MLlib 机器学习》第十五章代码

._ importorg.apache.spark.SparkContext._ importorg.apache.spark.rdd.RDD importorg.apache.spark.Logging
sunbow0·2016-04-13 15:00

《Spark MLlib 机器学习》第十四章代码

._ importorg.apache.spark.rdd.RDD importorg.apache.spark.SparkContext._ /** *用户评分.
sunbow0·2016-04-13 15:00

《Spark MLlib 机器学习》第三章代码

{SparkConf,SparkContext} importbreeze.linalg._ importbreeze.numerics._ importorg.apache.s
sunbow0·2016-04-12 17:00

spark 分析日志文件(key,value)

{SparkContext,SparkConf} objectSim
残阳飞雪·2016-04-12 17:00

《Spark MLlib 机器学习》第二章代码

{SparkConf,SparkContext} importorg.apache.spark.SparkContext._ objectrdd_test01{ defmain(args:Array
sunbow0·2016-04-12 16:00

《Spark 官方文档》监控和工具

Web界面每个SparkContext都会启动一个webUI，其默认端口为4040，并且这个webUI能展示很多有用的Spark应用相关信息。
邓 林·2016-04-12 12:00

《Spark 官方文档》监控和工具

Web界面每个SparkContext都会启动一个webUI，其默认端口为4040，并且这个webUI能展示很多有用的Spark应用相关信息。
邓 林·2016-04-12 04:00

Spark 编程基础

{SparkContext,SparkConf} importorg.apache.spark.SparkContext._ objectWordCount1{ defmain(args:Array[
Crystal_Zero·2016-04-10 00:00

Spark Job 详细执行流程（二）

SparkJob执行流程大体如下：用户提交Job后会生成SparkContext对象，SparkContext向ClusterManager（在Standalone模式下是SparkMaster）申请Executor
imarch1·2016-04-08 14:28

Spark 之SparkContext 源码精读2

前文说到SparkContext的3大核心对象被创建。分别是TaskScheduler、SchedulerBackend、DAGScheduler。
柯里昂·2016-04-05 08:00

Spark 之SparkContext 源码精读1

SparkContext是Spark的核心中的核心。SparkContext是Spark功能的入口，表示与Spark集群的连接。
柯里昂·2016-04-04 19:00

Spark 云计算 ML 机器学习教程 以及 SPARK使用教程

sparkCore的使用基础知识   rdd为spark的一个分布式数据源的计算的抽象   sparkContext为spark环境上下文用于保持集群连接，创建RDD并行数据accumularboardcast
zhuyuping·2016-04-04 01:00

Spark集群模式概述

2组件Spark的应用程序是作为一组独立的进程运行在集群上的，在主程序（称为驱动程序，driverprogram）中通过SparkContext来协调这些进程。
u012877472·2016-04-02 23:00

SparkContext初始化的核心过程

1、依据sparkContext的构造方法的参数sparkConf创建一个sparkEnv2、初始化sparkUI，以便sparkApplication运行时方便用户监控默认端口40403、创建和启动scheduler
feierxiaoyezi·2016-04-02 10:00

IDEA读取本地文件进行处理的方式

{SparkContext,SparkConf} objectWordCount{ defmain(args:Array[String]){ //第一步：spark运行的环境，这个是必须的步骤 valconf
legotime·2016-04-01 20:00

spark wordcount 第一个spark 程序

{SparkConf,SparkContext} /** *Createdbycmcc-B100036on2016/4/1. */ objectWordCount{ defmain(args
knight_black_bob·2016-04-01 16:00

spark wordcount 第一个spark 程序

{SparkConf,SparkContext}/***Createdbycmcc-B100036on2016/4/1.
knight_black_bob·2016-04-01 16:00

spark wordcount 第一个spark 程序

{SparkConf,SparkContext}/***Createdbycmcc-B100036on2016/4/1.
knight_black_bob·2016-04-01 16:00

spark on yarn模式下扫描带有kerberos的hbase

我上一篇写了关于如何在spark中直接访问有kerberos的hbase，现在我们需要对hbase进行全表的分布式扫描，在无kerberos的情况下通过sparkcontext的newApiHadoopRDD
xyhshen·2016-04-01 09:19

Driver端如何正确取消Spark中的job

SparkContext提供了一个取消job的apiclassSparkContext(config:SparkConf)extendsLoggingwithExecutorAllocationClient
wl044090432·2016-03-30 16:00

spark初试遇到的小问题

sparkwordcount程序，在本地运行时没问题的，但是放到集群上运行的时候就出错了，出现的问题如下：16/03/2819:04:23ERRORspark.SparkContext:ErrorinitializingSparkContext.java.lang.IllegalArgumentException
fjr_huoniao·2016-03-29 11:15

Spark系列(三)SparkContext分析

SparkContext初始化流程图其它说明：在createTaskScheduler会根据不同的提交模式创建backend对象(如本地模式为LocalBackend)。
会飞的纸盒·2016-03-23 22:00

Spark Job 详细执行流程（一）

大体流程如下图所示Spark集群运行架构用户提交Job后会生成SparkContext对象，SparkContext向ClusterManager（在Standalone模式下是SparkMaster）
imarch1·2016-03-23 17:38

Spark DataFrames

从csv文件创建DataFrame主要包括以下几步骤：1、在build.sbt文件里面添加spark-csv支持库；2、创建SparkConf对象，其中包括Spark运行所有的环境信息；3、创建SparkContext
Wei-L·2016-03-20 21:22

Spark DataFrames

从csv文件创建DataFrame主要包括以下几步骤：1、在build.sbt文件里面添加spark-csv支持库；2、创建SparkConf对象，其中包括Spark运行所有的环境信息；3、创建SparkContext
LW_GHY·2016-03-20 21:00

Spark资源调度机制流程

1、SparkContext实例化，调用createTaskScheduler来创建TaskSchedulerImpl和SparkDeploySchedulerBackend；2、在SparkContext
Alexkay·2016-03-20 14:40

Spark机器学习：spark基本使用及命令

http://blog.csdn.net/pipisorry/article/details/50931274Spark编程模型SparkContext类和SparkConf类记着，，，下次写吧。。。。
pipisorry·2016-03-19 15:00

SparkContext的初始化（季篇）——测量系统、ContextCleaner及环境更新

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟四篇随笔分别展现。《深入理解Spark：核心思
泰山不老生·2016-03-14 12:00

深入浅出之Spark任务调度

概述SparkApplication在遇到action算子时，SparkContext会生成Job，并将构成DAG图将给DAGScheduler解析成Stage。
tanglizhe1105·2016-03-11 11:00

SparkContext的初始化（季篇）——测量系统、ContextCleaner等组件介绍

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟四篇随笔分别展现。《深入理解Spark：核心思
beliefer·2016-03-08 09:00

《深入理解Spark：核心思想与源码分析》——SparkContext的初始化（叔篇）——TaskScheduler的启动

《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章环境准备》《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设计理念与基本架构》由于本书的第3章内容较多，所以打算分别开辟四篇随笔分别展现。《深入理解Spark：核心思
泰山不老生·2016-03-07 10:00

Spark简单项目之词频统计

{SparkContext, SparkConf} //这样引入是为引入reduceByKey import org.apache.spark.SparkContext._ /**   在给定的莎士比亚文集上
sucre·2016-03-06 19:00

RDD的checkpoint源码分析

的方法如下：1/** 2*MarkthisRDDforcheckpointing.Itwillbesavedtoafileinsidethecheckpoint 3*directorysetwith`SparkContext
luckuan1985·2016-03-06 17:00

使用scala开发本地测试的Spark WordCount程序

packagecom.yh.spark importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext objectWordCount
yudedipan·2016-03-04 09:00
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他