spark基础

spark基础-001

1概述##1.1简介##ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。利用内存数据存储和接近实时的处理能力，Spar
云星数据-大数据团队·2018-01-19 16:11

Spark源码分析： RDD

org.apache.spark.rdd.RDD类源代码中有详细的注释：AResilientDistributedDataset(RDD),thebasicabstractioninSpark.翻译：弹性的分布式数据集是Spark
raincoffee·2017-12-06 16:20

Spark使用总结与分享之如何使用spark入门以及spark的应用场景

转载：http://www.cnblogs.com/bourneli/p/4394271.htmlSpark基础基石RDDspark的核心是RDD（弹性分布式数据集），一种通用的数据抽象，封装了基础的数据操作
资料库大师·2017-11-02 15:37

Scala编程语言视频教程|Spark基础--快学Scala

阅读更多Scala编程语言视频教程分享网盘下载——https://pan.baidu.com/s/1ghdAP83密码:mq6xScala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。它也能运行于CLDC配置的JavaME中。目前还有另一.NET平台的实现，不过该版本更新有些滞后。Scala
小灯笼·2017-11-01 09:00

Scala编程语言视频教程|Spark基础--快学Scala

阅读更多Scala编程语言视频教程分享网盘下载——https://pan.baidu.com/s/1ghdAP83密码:mq6xScala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。它也能运行于CLDC配置的JavaME中。目前还有另一.NET平台的实现，不过该版本更新有些滞后。Scala
小灯笼·2017-11-01 09:00

Spark基础及源码分析视频-杨千锋-专题视频课程

Spark基础及源码分析视频—1420人已学习课程介绍本视频面向拥有Java语言基础的同学，以Java语言为蓝本，深入浅出的讲解scala语言的语法和特征，并应用scala语言，讲解spark生态系统下的大数据开发技术
coding789·2017-10-16 09:16

Spark基础-Scala文件操作

核心scala文件操作文件操作的大概流程packagecom.xlucasimportjava.io._importscala.io.Source/***Createdbyxlucason2017/9/40004.*/@SerialVersionUID(99L)classPaicMis(valname:String)extendsSerializable//定义序列化类objectFileOope
Xlucas·2017-09-04 23:57

Spark基础-Scala函数式编程

核心1、scala函数式编程packagecom.xlucas/***Createdbyxlucason2017/8/140014.*//***函数可以被简单的任务是一条或者几条语句的代码体，该代码体接收若干参数，经过代码体处理后返回结果，和数学中的f(x)=x+1*在scala中函数是一等公民，可以向变量一样被传递，被赋值，同时函数可以赋值给变量，变量也可以赋值给函数，*可以序列化和反序列化的直
Xlucas·2017-08-14 23:32

Spark基础-Scala条件判断和循环

核心1、scala判断和循环packagecom.xlucas/***Createdbyxlucason2017/8/130013.*1、Scala中的基本控制结构有顺序、条件和循环三种方式，这个其他的jvm语言是一致的，但是Scala也有一些高级的流程控制类模式匹配*在这里我们主要if、for、while等三种**if条件表达式会根据if后面括号里面的boolean值来决定整个if表达式的值*1
Xlucas·2017-08-13 23:36

[Spark基础]--maven编译spark源码(spark-2.3.0)

如何编译从Github上下载的Spark源码，然后使用Spark的Api?本文将先介绍编译Spark最新源码的步骤，供参考。一、环境准备Centos-6.8Scala-2.11.8Jdk-1.8Spark-2.3.0-SNAPSHOT(gitclonehttps://github.com/apache/spark.git)Python-2.7.10Maven-3.3.9二、编译使用maven编译源
highfei2011·2017-08-03 21:12

笔记：新手的Spark指南

http://blog.csdn.net/MrLevo520/article/details/76087612前言既然做了Hive的整理，那就把spark的也整理下吧，当做入门指南和自己的笔记吧~与君共勉Spark
哈士奇说喵·2017-07-25 17:43

笔记：新手的Spark指南

http://blog.csdn.net/MrLevo520/article/details/76087612前言既然做了Hive的整理，那就把spark的也整理下吧，当做入门指南和自己的笔记吧~与君共勉Spark
哈士奇说喵·2017-07-25 17:43

[Spark基础]-- spark-2.0图文讲解核心

转自：https://www.qcloud.com/community/article/339784?fromSource=gwzcw.107190.107190.107190导语spark2.0于2016-07-27正式发布，伴随着更简单、更快速、更智慧的新特性，spark已经逐步替代hadoop在大数据中的地位，成为大数据处理的主流标准。本文主要以代码和绘图的方式结合，对运行架构、RDD的实现
highfei2011·2017-07-11 22:15

spark基础

1.Spark概述1.1Spark是什么Spark是内存计算系统，2009年它出品于UCBerkeleyAMPLab伯克利下属实验室，它最早是一片博士论文，论述如何提高map和reduce的效率。后来就针对这篇论文写出了相应的实现。2013年6月捐赠了给Apache，2014年2月成为Apache的顶级项目。最大节点的集群来自腾讯，8000个节点，单个job最大分别是阿里巴巴和Databricks
lishuangzhe7047·2017-07-04 09:38

[Spark基础]--spark自定义分区及使用方法

Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数注意：(1)只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None(2)每个RDD的分区ID范围：0~numPartitions-1，决定这个值是属于那个分区的。分区方式的优劣HashPartitioner分区弊端：可能导致每个分区中数据量
highfei2011·2017-03-30 19:02

sparksql执行流程分析

在前面的文章《spark基础（上篇）》和《spark基础（下篇）》里面已经介绍了spark的一些基础知识，知道了sparksql是spark中一个主要的框架之一。
ZPPenny·2017-03-27 21:45

[Spark基础]-- spark-2.1.0提交任务的配置参数说明

参考原文：https://spark.apache.org/docs/latest/configuration.html一、目录Spark属性动态加载Spark属性查看Spark属性可用属性应用程序属性运行时环境Shuffle行为SparkUI压缩和序列化内存管理Execution行为网络任务计划Spark提供三个位置来配置系统：·Spark属性控制大多数应用程序参数，可以通过使用SparkCon
highfei2011·2017-02-17 21:54

java实现RDD算子

spark基础与javaapi介绍http://www.cnblogs.com/tovin/p/3832405.htmltextFile:可将本地文件或HDFS文件转换成RDD，读取本地文件需要各节点上都存在
铁头乔·2017-01-03 13:30

Spark基础随笔：分区小结

1.分区分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。2.分区的个数RDD分区的一个分区原则：尽可能是得分区的个数等于集群核心数目下面我们仅讨论Spark默认的分区个数，这里分别就parallel
PJ-Javis·2016-10-08 14:45

Spark使用总结与分享

Spark基础基石RDDspark的核心是RDD（弹性分布式数据集），一种通用的数据抽象，封装了基础的数据操作，如map，filter，r
Codlife一王家二公子·2016-09-24 10:18

总结 | 最全的Spark基础知识解答

总结|最全的Spark基础知识解答2016-09-19中国统计网1Spark基础知识1.Spark是什么?UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架。
aaronhoho·2016-09-20 10:57

Spark学习笔记--Spark基础知识

1、RDD表示分布在多个计算节点上的可以并行操作的元素集合，是spark主要的变成抽象。SparkStreaming是Spark提供的对实时数据进行流式计算的组件Spark是一个用于集群计算的通用计算框架，因此被应用于各种各样的应用程序2、从上层来看，每个saprk应用都有一个驱动器程序（driverprogrammer）来发起集群上的各种并行操作。驱动器程序通过一个SparkContext对象来
夜晓楼·2016-09-08 22:56

Spark基础知识

欢迎访问博客新址:  http://zhangxuezhi.com/archives/Spark基础知识什么是Spark     Spark是UCBerkeleyAMPlab所开源的类似HadoopMapReduce
xuezhisdc·2016-07-31 17:00

Spark基础

Spark基础  基石RDD  spark的核心是RDD（弹性分布式数据集），一种通用的数据抽象，封装了基础的数据操作，如map，filter，reduce等。
sinat_29581293·2016-05-23 22:00

Spark基础排序+二次排序（java+scala）

1.基础排序算法2.二次排序算法3.更高级别排序4.排序算法内幕1.基础排序算法sc.textFile("/data/putfile.txt").flatMap(_.split("")).map(word=>(word,1)).reduceByKey(_+_,1).map(pair=>(pair._2,pair._1)).sortByKey(false).map(pair=>(pair._2,pa
sundujing·2016-05-13 23:00

博文目录(最新更新：5.31)

为了方便大家阅读，我把博文目录梳理了一下，里面会有已完成和计划写的博文，希望大家多多交流，有错误的地方请随时指正^_^ Spark基础（5月中旬写完---已完成）【原】LearningSpark(Python
Charlotte77·2016-05-09 09:00

spark基础知识

预备知识1、如果要跑spark例子程序，最好配置环境变量时，加入如下内容。省区频繁输入调用jar包。注意不同的spark版本，对应路径不同。2、修改配置文件（这里针对standalone模式）host文件：Master(Master):127.0.0.1(名称与IP对应关系)slave1(Worker):127.0.0.1(名称与IP对应关系)slave2(Worker):127.0.0.1(名称
qq_23617681·2016-05-08 23:00

Spark基础与Java Api介绍

原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3832405.html    一、Spark简介 　　1、什么是Spark 　　　　发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 　　　　相比于MapReduce，Spark能充分利用内存资源提高计算效率。 　
·2015-11-13 14:06

Spark学习体系

1 Spark基础篇 1.1 Spark生态和安装部署 在安装过程中，理解其基本操作步骤。
·2015-11-12 20:18

Spark基础知识学习分享

一、Spark基础知识梳理1.Spark是什么？Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。
m635674608·2015-10-08 12:00

Spark入门三部曲之第一步Spark基础知识

Spark运行环境Spark是Scala写的,运行在JVM上。所以运行环境是Java6或者以上。如果想要使用PythonAPI，需要安装Python解释器2.6版本或者以上。目前Spark(1.2.0版本)与Python3不兼容。Spark下载下载地址：http://spark.apache.org/downloads.html，选择Pre-builtforHadoop2.4andlater这个包
maixia24·2015-08-04 13:00

Spark基础知识学习分享

一、Spark基础知识梳理1.Spark是什么？Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。
cjun1990·2015-06-23 11:00

spark基础(三)------------------------使用maven构建一个基于scala的spark应用程序。

这一章讲解一下如何使用maven构建我们的spark应用程序。首先，安装maven,在centos7上使用yuminstallmaven直接安装。然后按照maven的约定，建立如下目录:spark-hello/spark-hello/srcspark-hello/src/mainspark-hello/src/main/scalaspark-hello/src/main/scala/comspar
self-motivation·2015-06-14 20:58

spark基础(三)------------------------使用maven构建一个基于scala的spark应用程序。

这一章讲解一下如何使用maven构建我们的spark应用程序。首先，安装maven,在centos7上使用yuminstallmaven直接安装。然后按照maven的约定，建立如下目录:spark-hello/spark-hello/srcspark-hello/src/mainspark-hello/src/main/scalaspark-hello/src/main/scala/comspar
happyAnger6·2015-06-14 20:00

spark基础(二)-----------scala在spark shell里的应用

这篇教程为使用spark提供一个快速的介绍。我们将先介绍sparkshell的API(pythonorscala),然后展示如何用JAVA,PYTHON,SCALA写应用。请先安装SPARK，下载地址http://spark.apache.org/downloads.html，由于我们不使用HDFS，可以基于任何hadoop版本。通过sparkshell进行交互式分析启动sparkshell./b
happyAnger6·2015-06-07 20:00

spark基础(一)----------spark集群模型

spark应用程序在集群上通过一组独立的进程运行。在每个应用程序的主进程里，都有一个sparkContext对象,也被称为驱动程序，就是这个sparkContext对象负责与集群协调资源。具体来说，要在集群上运行，sparkContext可以连接多种不同的集群管理器（无论是spark自己的集群管理器还是MesosorYARN).这些集群管理器为这些应用程序分配资源。sparkContext连接上集
happyAnger6·2015-06-07 00:00

Spark基础知识学习分享

一、Spark基础知识梳理1.Spark是什么？ Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。
wwwxxdddx·2015-05-07 17:00

Spark基础概况

最近本人对各种分布式计算平台研究的比较火热，上周的时间简单了了解了Storm的用法，今天马不停蹄的开始了新的学习。同样是非常流行的分布式平台，Spark，跟Hadoop属于同类型的。Spark和Storm一样，作为最近才刚刚开源出来的一个项目，学习的资料相当少，大家都还在学习阶段，所以，我目前的学习的情况也只是限于比较粗糙的学习。Spark是一个开源的通用并行分布式计算框架，由加州大学伯克利分校的
Android路上的人·2014-10-27 21:54

Spark基础概况

      最近本人对各种分布式计算平台研究的比较火热，上周的时间简单了了解了Storm的用法，今天马不停蹄的开始了新的学习。同样是非常流行的分布式平台，Spark，跟Hadoop属于同类型的。Spark和Storm一样，作为最近才刚刚开源出来的一个项目，学习的资料相当少，大家都还在学习阶段，所以，我目前的学习的情况也只是限于比较粗糙的学习。       Spark是一个开源的通用并行分布式计算框
Androidlushangderen·2014-10-27 21:00

Spark学习体系

1Spark基础篇1.1Spark生态和安装部署在安装过程中，理解其基本操作步骤。
John00000001·2014-07-21 09:06

Spark基础与Java Api介绍

原创文章，转载请注明：转载自http://www.cnblogs.com/tovin/p/3832405.html一、Spark简介1、什么是Spark发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。相比于MapReduce，Spark能充分利用内存资源提高计算效率。2、Spark计算框架Driver程序启动很多workers,然后wor
tovin·2014-07-08 21:00

Spark基础知识学习分享

一、Spark基础知识梳理1.Spark是什么？Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。
lantian0802·2014-03-29 18:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他