Spark基础

Spark基础全解析

我的个人博客：https://www.luozhiyun.com/为什么需要Spark？MapReduce的缺陷第一，MapReduce模型的抽象层次低，大量的底层逻辑都需要开发者手工完成。第二，只提供Map和Reduce两个操作。举个例子，两个数据集的Join是很基本而且常用的功能，但是在MapReduce的世界中，需要对这两个数据集做一次Map和Reduce才能得到结果。第三，在Hadoop中
luozhiyun·2020-03-01 11:00

大数据之谜Spark基础篇，Spark运行架构原理详解

温馨提示本公众号专注分享大数据技术Spark、Hadoop等，如果你是初学者、或者是自学者，这里都是可以提供免费资料，也可以加小编微信号：wusc35，小编可以给你学习上、工作上一些建议以及可以给你提供免费的学习资料！学习技术更重要的是在于学习交流！等你来...注：本公众号纯属个人公益号！免费分享所有学习资料！希望朋友多多支持！多多关注！本节主要来理解以下五个组件，是怎么相互连接，并配合起来实现我
大数据之谜·2020-02-26 09:53

大数据基础系列之提交spark应用及依赖管理

大数据基础系列之提交spark应用及依赖管理spark基础这是一级标题这是二级标题这是三级标题这是四级标题这是五级标题这是六级标题rdd特点abc姓名技能排行刘备哭大哥关羽打二哥张飞骂三弟2017年10
cariya·2020-02-20 16:53

Spark基础知识概述 - RDD

概论较高的层次上，每个Spark应用程序都包含一个驱动程序，该程序运行用户的main功能并在集群上执行各种并行操作。Spark提供的主要抽象是弹性分布式数据集（RDD），它是跨群集节点分区的元素集合，可以并行操作。RDD是通过从Hadoop文件系统（或任何其他Hadoop支持的文件系统）中的文件或驱动程序中的现有Scala集合开始并对其进行转换来创建的。用户还可以要求Spark在内存中保留RDD，
Liam_ml·2020-02-15 04:52

Spark基础之shuffle机制和原理分析

总结前提：每一个job提交后都会生成一个ResultStage和若干个ShuffleMapStage其中ResultStage表示生成作业的最终结果所在的Stage；ResultStage的task分别对应着ResultTaskShuffleMapStage的task分别对应着ShuffleMapTask。HashShuffle：1.6版本前SortShuffle：之后借鉴MR的Shuffle机制
小小少年Boy·2020-02-14 18:10

学习笔记——spark基础实验二

今天学习了scala语言的基础知识，并完成了spark基础实验二的部分内容。题目1：importio.StdIn.
Fuming°·2020-02-13 23:00

Spark基础知识

原文链接：https://blog.csdn.net/zuolixiangfisher/article/details/889731591、什么是宽依赖，什么是窄依赖？哪些算子是宽依赖，哪些是窄依赖？窄依赖就是一个父RDD分区对应一个子RDD分区，如map，filter或者多个父RDD分区对应一个子RDD分区，如co-partionedjoin宽依赖是一个父RDD分区对应非全部的子RDD分区，如g
流浪山人·2020-02-10 02:49

RDD 科普

Spark基础ApacheSpark™isaunifiedanalyticsengineforlarge-scaledataprocessing.ApacheSpark™是用于大规模数据处理的统一分析引擎
Wille_Li·2020-02-07 10:36

Spark基础和RDD

spark1.Spark的四大特性速度快spark比mapreduce快的两个原因基于内存1.mapreduce任务后期在计算的是时候，每一个job的输出结果都会落地到磁盘，后续有其他的job要依赖于前面job的输出结果，这个时候就需要进行大量的磁盘io操作，性能较低2.spark任务后期在进行计算的时候，job的结果是可以保存在内存中的，后面有其他的job需要以言语前面job的输出结果，这个时候
James开荒·2020-01-29 02:00

Spark基础和RDD

spark1.Spark的四大特性速度快spark比mapreduce快的两个原因基于内存1.mapreduce任务后期在计算的是时候，每一个job的输出结果都会落地到磁盘，后续有其他的job要依赖于前面job的输出结果，这个时候就需要进行大量的磁盘io操作，性能较低2.spark任务后期在进行计算的时候，job的结果是可以保存在内存中的，后面有其他的job需要以言语前面job的输出结果，这个时候
JamesVie·2020-01-29 02:00

大数据手册(Spark)--Spark机器学习(PySpark版)

文章目录MLlibML常见的特征转换模型拟合和描述超参调优Spark安装配置Spark基本概念Spark基础知识(PySpark版)Spark机器学习(PySpark版)Spark流数据处理(PySpark
WilenWu·2020-01-09 16:34

Pyspark基础整理

1.创建Spark用于读取数据，创建DataFrameSparkSession是整个程序的入口，创建过程（还不懂Spark到底后台怎么整的，先写下来，后续再理解）frompyspark.sqlimportSparkSessionspark=SparkSession.builder\.master("local")\.appName("PythonSparkSQLbasicexample")\.co
大林子_·2020-01-08 08:08

【CSDN博客迁移】Spark高级数据分析（1） ——纽约出租车轨迹的空间和时间数据分析

在开始正文之前,需要掌握以下基础知识：Scala基础语法Spark基础概念
IIGEOywq·2020-01-06 02:37

Spark基础知识

Spark基本概念RDD——ResillientDistributedDatasetAFault-TolerantAbstractionforIn-MemoryClusterComputing弹性分布式数据集。Operation——作用于RDD的各种操作分为transformation和action。Job——作业，一个JOB包含多个RDD及作用于相应RDD上的各种operation。Stage—
杜龙少·2019-11-27 22:26

Spark基础解析

一、Spark概述1.什么是Spark1.1定义Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎1.2历史2009年诞生于加州大学伯克利分校AMPLab,项目由Scala编写2010年开源2013年6月成为Apache的孵化项目2014年2月成为Apache的顶级项目2.Spark的内置模块SparkCore：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互
我是星星我会发光i·2019-11-19 15:03

spark基础-rdd特性

RDD特性：1.RDD是spark提供的核心抽象，全称：ResillientDistributedDataset,即弹性分布式数据集。2.RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，氛围多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以并行操作（分布式数据集）3.RDD通常通过Hadoop上的文件来创建。有时也可以通过应用程序中的集合赖床见。4.RDD最重要的特性
xiao酒窝·2019-09-21 22:02

spark基础--rdd的生成

使用parallelize创建RDD也可以使用makeRDD来创建RDD。通过查看源码可以发现，makeRDD执行的时候，也是在调用parallelize函数，二者无区别。通过.textFile可以通过文件读取项目路径和hdfs文件路径*makeRDD和parallelize第二个参数为处理的并行度数量不给定时，默认值为通过conf.getInt("spark.default.parallelis
xiao酒窝·2019-09-21 22:15

6.推荐系统之Spark基础

一.Spark入门1.1什么是Spark基于内存的计算引擎，它的计算速度非常快。但是仅仅只涉及到数据的计算，并没有涉及到数据的存储1.2Spark优势MapReduce框架局限性Map结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据任务调度和启动开销大无法充分利用内存不适合迭代计算（如机器学习、图计算等等），交互式处理（数据挖掘）不适合流式处理（点击日志分析）MapReduce
Sssssss_A·2019-08-26 16:28

大数据学习笔记之Spark（一）：Spark基础解析

文章目录第1章Spark概述spark的产生背景1.1什么是Spark1.2Spark特点1.3Spark的用户和用途第2章Spark集群安装2.1集群角色2.2机器准备2.3下载Spark安装包2.4配置Spark2.5配置JobHistoryServer2.6配置SparkHA第3章执行Spark程序3.1执行第一个spark程序3.2Spark应用提交3.3启动SparkShell3.3.1
Leesin Dong·2019-08-13 08:06

Spark 基础操作

1.Spark基础2.SparkCore3.SparkSQL4.SparkStreaming5.Spark内核机制6.Spark性能调优1.Spark基础1.1Spark中的相应组件1.2Standalone
思考与践行·2019-06-22 23:00

使用Spark跨集群同步Hive数据

本文适用有入门spark基础的同学，一些最基础知识不再赘述通过阅读本文即可掌握使用Spark跨集群同步Hive数据的技巧！
SPlus·2019-06-12 00:00

Spark每日半小时（4）——Spark基础参数传值

向Spark传递参数Spark的大部分转化操作和一部分行动操作，都需要依赖用户传递的函数来计算。在我们支持的三种主要语言中，向Spark传递函数的方式略有区别。这里主要写Java在Java中，函数需要作为实现了Spark的org.apache.spark.api.java.function包中的任一函数接口的对象来传递。根据不同的返回来行，我们定义了一些不懂的接口。我们把最基本的一些函数接口列在下
DK_ing·2019-06-02 17:04

Spark每日半小时（4）——Spark基础参数传值

向Spark传递参数Spark的大部分转化操作和一部分行动操作，都需要依赖用户传递的函数来计算。在我们支持的三种主要语言中，向Spark传递函数的方式略有区别。这里主要写Java在Java中，函数需要作为实现了Spark的org.apache.spark.api.java.function包中的任一函数接口的对象来传递。根据不同的返回来行，我们定义了一些不懂的接口。我们把最基本的一些函数接口列在下
DK_ing·2019-06-02 17:04

大数据基础知识问答----spark篇

1.Spark基础知识1.Spark是什么？UCBerkeleyAMPlab所开源的类HadoopMapReduc
IT时代周刊·2019-05-18 11:35

Spark Core源码精读计划#1：SparkConf

目录前言SparkConf类的构造方法Spark配置项的存储设置配置项直接用Set类方法设置通过系统属性加载克隆SparkConf获取配置项校验配置项总结前言从本文开始，讨论Spark基础支撑子系统的具体实现
LittleMagic·2019-03-23 12:53

[Spark基础]-- Spark sql使用(编程和 cli)

什么是Sparksql?分布式的SQL查询引擎，官方测试结果比Hivesql快100倍；从Spark-2.2.0版本起，提供了基于代价的优化器。sparksql怎样使用？1、使用编程方式举例：https://spark.apache.org/docs/2.2.0/sql-programming-guide.html#getting-started2、使用命令行可以理解为spark-submit提交
highfei2011·2019-02-25 14:38

Spark基础理论及安装

一、初始Spark1、产生背景由于mapreduce只适用于离线数据处理（批处理），而不能支持对迭代式，交互式，流式数据的处理，因此,spark就诞生了hive的产生就是为了解决mapreduce的编程复杂的问题spark的产生就是为了解决mapreduce的计算缓慢的问题Spark和MapReduce的对比之后的优势：1、减少磁盘IOMapReduce：基于磁盘Spark:基于内存（尽量把临时数
爱学习的小明-1993·2019-01-09 11:00

Spark基础（RDD）(常用算子)

什么是RDDRDD是Spark的计算模型。RDD（ResilientDistributedDataset）叫做弹性的分布式数据集合，是Spark中最基本的数据抽象，它代表一个不可变、只读的，被分区的数据集。操作RDD就像操作本地集合一样，有很多的方法可以调用，使用方便，而无需关心底层的调度细节。RDD宽依赖：父RDD的分区被子RDD的多个分区使用例如groupByKey、reduceByKey、s
双下巴的小猫咪·2018-12-11 00:14

Spark基础 DAG

为什么使用spark的原因是早期的编程模式MapReduce缺乏对数据共享的高效元语，会造成磁盘I/O以及序列号等开销，spark提出了统一的编程抽象---弹性分布式数据集（RDD）,该模型可以令并行计算阶段间高效地进行数据共享。spark处理数据时，会将计算转化为一个有向无环图(DAG)的任务集，RDD能够有效的恢复DAG中故障和慢节点执行的任务，并且RDD提供一种基于粗粒度变换的接口，记录创建
zhangvalue·2018-12-03 22:45

Spark自学之路（十三）——Spark 机器学习库

Spark机器学习库MLlibSpark提供了一个基于海量数据的机器学习库，它提供了常用机器学习算法的分布式实现开发者只需要有Spark基础并且了解机器学习算法的原理，以及方法相关参数的含义，就可以轻松的通过调用相应的
NIUNIU_SUISUI·2018-11-26 19:00

【Big Data】大数据组件学习

hadoopHDFS常用文件操作命令https://segmentfault.com/a/1190000002672666#articleHeader10Spark基础知识学习分享-推酷https://
Jiweilai1·2018-11-21 15:48

Spark基础 -- Spark Shell -- RDD -- 算子

Spark基础–SparkShell–RDD–算子文章目录Spark基础--SparkShell--RDD--算子一、简介二、Spark1.6.3部署准备工作解压安装配置spark，master高可用配置环境变量分发配置好的
Eva.努力学习·2018-11-20 09:57

Spark基础之--启动local与standalone模式

我们得到编译好的spark压缩包之后，进行解压；随后进入spark文件夹，获取到spark的路径：/home/xxx/app/spark-2.1.0-bin-2.6.0-cdh5.7.0为了后续使用方便，我建议将spark的路径添加到本地配置（~/.bash_profile）exportSPARK_HOME=/home/xxx/app/spark-2.1.0-bin-2.6.0-cdh5.7.0e
翰文不是瀚·2018-11-06 22:51

Spark基础入门教程(一)：原理架构

Spark是什么？Spark是用来实现快速而通用的集群计算的平台。在此之前我们学过了Hadoop中的MapReduce，那么就以这两个为例比较一下：MapReduce：仅仅只支持Map和Reduce两种模式处理效率偏低，1)具体体现在Map的中间结果是写入到磁盘中，Reduce写HDFS中，多个MapReduce与HDFS交互数据频繁，认读调度较大。2)没有办法充分的使用内存3）Map和Reduc
Swt_BigData·2018-11-06 18:18

spark基础入门

定义Spark是一个高效，通用的大数据处理引擎。背景2009年，Spark诞生于伯克利大学AMPLab，最初属于伯克利大学的研究性项目。2010年，正式开源。2013年，成为了Apache基金项目，同年，基于spark的开源商业公司Databricks成立。2014年，成为Apache基金的顶级项目。spark相关组件MapReduce&Spark1.png七个MapReduce作业意味着需要七次
Sophie12138·2018-10-25 20:27

Spark学习笔记：Spark基础

目录Spark基础1.Spark基础入门（1）什么是Spark（2）Spark生态圈（3）Spark的特点与MapReduce对比2.Spark体系结构与安装部署（1）Spark体系结构（2）Spark
SetsunaMeow·2018-09-03 23:57

Spark基础：（六）Spark SQL

Spark基础：（六）SparkSQL1、相关介绍Datasets：一个Dataset是一个分布式的数据集合Dataset是在Spark1.6中被添加的新接口,它提供了RDD的优点（强类型化,能够使用强大的
雪泪寒飞起来·2018-08-07 21:00

Spark基础：（七）Spark Streaming入门

Spark基础：（七）SparkStreaming入门介绍1、是sparkcore的扩展，针对实时数据流处理,具有可扩展、高吞吐量、容错.数据可以是来自于kafka,flume,tcpsocket,使用高级函数
雪泪寒飞起来·2018-08-07 14:00

Spark基础：（五）Spark编程进阶

Spark基础：（五）Spark编程进阶共享变量（1）累加器：是用来对信息进行聚合的，同时也是Spark中提供的一种分布式的变量机制，其原理类似于mapreduce，即分布式的改变，然后聚合这些改变。
雪泪寒飞起来·2018-08-06 16:00

Spark基础：（四）Spark 数据读取与保存

1、文件格式Spark对很多种文件格式的读取和保存方式都很简单。（1）文本文件读取：将一个文本文件读取为一个RDD时，输入的每一行都将成为RDD的一个元素。valinput=sc.textFile("...")也可以将多个完整的文本文件读取为一个pairRDD，其中键为文件名，值是文件内容。例如：valinput=sc.whoTextFiles("...")保存：resulet.saveAsTex
雪泪寒飞起来·2018-08-04 21:48

spark基础入门-集群模式

看了忘，忘了有看，然而又忘了，很烦......什么appmaster、resourceManage、nodeManage、yarn-cluster、yarn-client...（通通全是名字，真的很烦......）稳住，直接干......Sparkonyarn有分为两种模式yarn-clusteryarn-client基本概念resourceManage:首先是yarn的概念，负责yarn上的资源
一个喜欢烧砖的人·2018-08-04 09:03

Spark基础：（二）Spark RDD编程

1、RDD基础Spark中的RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区，这些分区运行在分区的不同节点上。用户可以通过两种方式创建RDD：（1）读取外部数据集====》sc.textFile(inputfile)（2）驱动器程序中对一个集合进行并行化===》sc.parallelize(List(“pandas”,”Ilikepandas”))2、RDD操作转化（Transfo
雪泪寒飞起来·2018-08-03 22:00

Spark基础：(一)初识Spark

1、Spark中的Python和Scala的Shell(1)：Python的SparkShell也就是我们常说的PySparkShell进入我们的Spark目录中然后输入bin/pyspark(2):Scala中的Shellbin/spark-shell利用spark进行行数的统计例如：Scala版本的vallines=sc.textFile("/home/txp/test.txt")#创建一个名
雪泪寒飞起来·2018-08-03 21:57

Spark基础概念

此文章打算梳理之前项目所用过的Spark的一些基础概念。Spark是一个计算框架Hadoop是包含计算框架MapReducehe分布式文件系统HDFS。Spark是基于内存的Spark：Spark有四大组件包括SparkStreaming、SparkSQL、SparkMLlib和SparkGraphX。四大组件的应用场景可以参考这篇文章：http://f.dataguru.cn/thread-59
csdnrhmm·2018-07-28 18:11

Spark基础概念

此文章打算梳理之前项目所用过的Spark的一些基础概念。Spark是一个计算框架Hadoop是包含计算框架MapReducehe分布式文件系统HDFS。Spark是基于内存的Spark：Spark有四大组件包括SparkStreaming、SparkSQL、SparkMLlib和SparkGraphX。四大组件的应用场景可以参考这篇文章：http://f.dataguru.cn/thread-59
csdnrhmm·2018-07-28 18:11

Spark sql执行流程

在前面的文章《spark基础（上篇）》和《spark基础（下篇）》里面已经介绍了spark的一些基础知识，知道了sparksql是spark中一个主要的框架之一。
cjlion·2018-07-01 21:56

3小时掌握数据挖掘-CSDN公开课-专题视频课程

3小时掌握数据挖掘—811人已学习课程介绍本课程以理论+实践相结合的形式授课，学完后您将掌握：1.熟悉大数据挖掘与机器学习基本流程2.掌握Spark基础与核心概念3.了解推荐系统原理4.了解SparkMLlib
CSDN学院官方账号·2018-05-09 15:41

Spark基础

官方文档：spark.apache.org/docs/latestSpark背景MapReduce局限性：1>)繁杂map/reduce(mapjoin没有reduce)low_levelconstained需求测试每次改代码再测试2>)技术效率低进程几百：MapTaskReduceTaskJVM复用IO:chain网络+磁盘排序：都要排序：面试题：key类型是实现什么接口？Memory:...不
ycwyong·2018-05-07 14:10

spark scala-基础action操作

spark的基础action操作演示importorg.apache.spark.SparkConfimportorg.apache.spark.SparkContext/***@authorjhp*spark
贾红平·2018-04-18 09:22

Spark基础 | RDD编程

Spark对数据的核心抽象——弹性分布式数据集（ResilientDistributedDataset,简称RDD）在Spark中，对数据的所有操作无外乎创建RDD、转化已有RDD以及调用RDD操作进行求值1RDD基础Spark中的RDD就是一个不可变的分布式对象集合每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上。RDD支持两种类型的操作：转化操作（transformation）和行
JH_Zhai·2018-04-16 20:40
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他