spark学习

spark学习笔记总结--算子

Value型Transformation***************************************************************1、集合中创建RDD，Spark主要提供了两中函数：parallelize和makeRDD2、下划线'_'代表集合中所有值3、map、filter为Transformation算子4、parallelize(1to10,6)，位产生1
北京小辉·2020-09-11 03:13

Spark学习笔记

交流学习加群460570824DataSource->Kafka->SparkStreaming->Parquet->SparkSQL(SparkSQL可以结合ML、GraphX等)->Parquet->其它各种DataMining等1.1Spark集群的安装Spark的运行是构建在hadoop集群之上（默认hadoop集群已经安装好了），在spark集群集群上必须要安装对应版本的scala1.1
专业大数据·2020-09-11 00:36

我的spark学习之路（四）：利用geotrellis 裁剪TIF数据

裁剪数据大概是我们最常用的功能之一了吧，geotrellis的Tile类有两个方法，一个是localMask，一个是mask，tile.localMask(r:Tile,readMask:Int,writeMask:Int)的作用是把对数据tile进行掩腌，具体的做法是把r中readMask位置的数据换成writeMask，这种要求掩膜数据和被裁剪的数据具有相同的范围大小，mask方法是用矢量数据
Giser张博·2020-09-10 21:21

我的Spark学习之路（二）geotrellis初探:如何发起WEB服务显示地图

刚看一下，我的上一篇博客竟然是在8.10写的，到今天已经差不多40天了，时间过的可真快，最近太忙，一直没时间整理看过的东西，索性这会没事随便写点。我的专业是地图学与地理信息，听这个名字就知道少不了要与地理数据打交道，我用spark一般也是处理地理数据，很幸运spark有一个开源的地理数据处理框架geotrellis，下面是官方对geotrellis的定义GeoTrellisisaScalalibr
weixin_30312557·2020-09-10 18:14

Spark学习笔记：利用Spark预测回头客行为

预处理test.csv和train.csv数据集一、这是本次实验需要用到的数据集，我在之前发过的文章《Hadoop、Hive实战：淘宝双十一数据分析》已经给出了，有同学需要的话可以去看看。这两个数据集的字段，定义如下：1、user_id：买家id2、age_range：买家年龄分段：1表示年龄=50,0和NULL则表示未知3、gender：性别：0表示女性，1表示男性，2和NULL表示未知4、me
没才艺的华哥·2020-09-02 22:25

Spark学习笔记（一）—— RDD介绍

Spark——RDD介绍一、RDD概述1.什么是RDD2.RDD属性二、RDD特点1.分区2.只读3.依赖4.缓存5.CheckPoint一、RDD概述1.什么是RDDRDD（ResilientDistributedDataset）叫做分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素并行计算的集合。2.RDD属性一组分区（Partition），
AidenBrett·2020-08-26 09:18

Spark学习笔记7-在eclipse里用scala编写spark程序（单机和集群运行）

1.下载eclipse我下载的是带scalaSDK的eclipse，下载地址如下：http://scala-ide.org/download/sdk.html我的要放在ubuntu下写程序，所以下载linux64位的。下载完成后自行解压。2.单机下运行WordCount程序我要测试运行的是单词计数的程序。采用的文件来自/Users/xxm/Documents/soft/spark-1.5.2-bi
XianMing的博客·2020-08-24 18:50

Spark学习笔记2：RDD编程

通过一个简单的单词计数的例子来开始介绍RDD编程。importorg.apache.spark.{SparkConf,SparkContext}objectword{defmain(args:Array[String]):Unit={valconf=newSparkConf().setMaster("local").setAppName("word")valsc=newSparkContext(c
wangyunfeis·2020-08-24 16:50

pyspark学习系列（四）数据清洗

frompysparkimportSparkConf,SparkContextfrompyspark.sqlimportSparkSessionfrompyspark.sqlimportSQLContextfrompyspark.sql.typesimport*spark=SparkSession.builder.appName("lz").getOrCreate()sc=SparkContext
仙人掌_lz·2020-08-24 15:16

大数据技术之_19_Spark学习_05_Spark GraphX 应用解析 + Spark GraphX 概述、解析 + 计算模式 + Pregel API + 图算法参考代码 + PageRank

大数据技术之_19_Spark学习_05第1章SparkGraphX概述1.1什么是SparkGraphX1.2弹性分布式属性图1.3运行图计算程序第2章SparkGraphX解析2.1存储模式2.1.1
黑泽君·2020-08-24 10:40

Spark学习笔记

1.standalone模式下的SparkCluster是不能直接处理本地文件的，要么通过addFile接口上传到各个worker机器。2.reduceByKey（func），把具有相同key的字典元素的value进行func的迭代计算3.aggregate（value0，fun1，fun2）函数，指定返回值的类型并代初值value0，首先每个patition会执行fun1函数的迭代，然后通过fu
不材之木·2020-08-23 21:21

PySpark学习 | 常用的 68 个函数 | 解释 + python代码

博文函数顺序以及代码部分参考SparkPythonAPI函数学习：pysparkAPI系列，并在此基础上结合PySpark官方文档以及参考各位博主的优秀文章对各个函数进行了解释。代码全部手撸过，可以运行。实验环境可以按照在windows上面安装并用jupyter运行pyspark进行配置：python3Hadoop2.7PySpark2.2.3Windows10打开cmd命令窗口，输入pyspar
蠡1204·2020-08-23 11:51

pyspark学习系列（一）创建RDD

由于个人工作需要spark，然后我有事一个编码门外汉，数据分析出身，除了学习了简单的sql，那么目前本人掌握的语言也就是python（JAVA教程看了一周放弃了），用python学习机器学习，然后在项目中实践了部分内容，现在想把项目搬到集群上去，所以要学习spark，但是发现网上关于pyspark的教程真的是太少了，本系列讲以《pyspark实战指南》为基础，详细介绍本人学习pyspark过程中的
仙人掌_lz·2020-08-23 11:21

spark学习笔记（一）基础

参考链接https://www.jianshu.com/p/3aa52ee3a802https://www.cnblogs.com/Mayny/p/9330436.htmlhttps://www.cnblogs.com/tgzhu/p/5818374.html计算框架Spark架构采用了分布式计算中的Master-Slave模型，Master是对应集群中的含有Master进程的节点，Slave是集
yezhirm7·2020-08-23 04:06

Spark学习04（自定义累加器+自定义排序+自定义分区）

一、自定义累加器（Accumulator）自定义累加器，可以任意累加不同类型的值，同时也可以在内部进行计算，或者逻辑编写，如果继承自定义累加器，那么需要实现内部的抽象方法，然后在每个抽象方法内部去累加变量值即可，主要是在全局性累加起到决定性作用。累加器作为spark的一个共享变量的实现，在用于累加计数计算计算指标的时候可以有效的减少网络的消耗累加器可以在每个节点上面进行Task的值，累加操作，有一
potpof·2020-08-23 02:50

Spark学习之路 （七）Spark 运行流程

一、Spark中的基本概念（1）Application：表示你的应用程序（2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext（3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些task
weixin_33901843·2020-08-22 19:45

Spark学习（四） -- Spark作业提交

标签（空格分隔）：Spark作业提交先回顾一下WordCount的过程：sc.textFile("README.rd").flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey(_+_)步骤一：valrawFile=sc.textFile("README.rd")texyFile先生成HadoopRDD-->MappedRDD；步
weixin_30702413·2020-08-22 19:35

Spark学习——Job的提交和运行

Spark学习——Job的提交和运行本篇文章主要解决的问题1.Spark实验环境搭建流程2.Spark中job生成和运行的具体步骤3.Spark布置环境中组件构成分成哪几个部分本文以wordCount为例
sbq63683210·2020-08-22 18:20

spark学习-34-Spark的BroadcastManager广播管理器

1.Broadcast就是将数据从一个节点发送到其他的节点上。例如Driver上有一张表，而Executor中的每个并行执行的Task（100万个）都要查询这张表，那我们通过Broadcast的方式就只需要往每个Executor把这张表发送一次就行了。Executor中的每个运行的Task查询这张唯一的表，而不是每次执行的时候都从Driver获得这张表！2.这就好像ServletContext的具
九师兄·2020-08-22 17:26

spark学习-Spark广播变量与共享变量（1）

1，概念###1.1广播变量：广播变量允许程序员将一个只读的变量缓存在每台机器上，而不用在任务之间传递变量。广播变量可被用于有效地给每个节点一个大输入数据集的副本。Spark还尝试使用高效地广播算法来分发变量，进而减少通信的开销。Spark的动作通过一系列的步骤执行，这些步骤由分布式的洗牌操作分开。Spark自动地广播每个步骤每个任务需要的通用数据。这些广播数据被序列化地缓存，在运行任务之前被反序
九师兄·2020-08-22 17:26

spark学习7之IDEA下搭建Spark本地编译环境并上传到集群运行

更多代码请见：https://github.com/xubo245/SparkLearningIDEA下搭建Spark本地编译环境并上传到集群运行环境：本地：window764+idea15.0.4+scala2.10.5集群：ubuntu+spark1.5.21.安装scala2.10.5，需要配置环境变量，还需要安装jdk1.7，同样要环境变量，很多教材，不细讲2.本地安装idea15.0.4
KeepLearningBigData·2020-08-22 16:50

Spark学习笔记：DStream基本工作原理

DStream基本工作原理DStream是SparkStreaming提供的一种高级抽象，英文全称为DiscretizedStream，中文翻译为离散流，它代表了一个持续不断的数据流。DStream可以通过输入数据源（比如从Flume、Kafka中）来创建，也可以通过对其他DStream应用高阶函数（map，flatmap）来创建。在内部实现上，DStream由一组时间序列上连续的RDD来表示，R
SetsunaMeow·2020-08-21 04:20

spark学习4之集群上直接用scalac编译.scala出现的MissingRequirementError问题（已解决）

更多代码请见：https://github.com/xubo245/SparkLearning报错代码：hadoop@Master:~/cloud/test/sh_spark_xubo/SparkPi$scalacorg/apache/spark/examples/SparkPi.scalaerror:scala.tools.nsc.MissingRequirementError:objectsc
KeepLearningBigData·2020-08-21 03:36

Spark学习02——创建DStream的方法

SparkStreaming提供两类内置流媒体源。基本来源：StreamingContextAPI中直接提供的源。示例：文件系统和套接字连接。高级资源：Kafka，Flume，Kinesis等资源可通过额外的实用程序类获得。基本来源如下,高级来源可参考官网例子：https://github.com/apache/spark/blob/master/examples/src/main/scala/o
lishengping_max·2020-08-21 02:10

大数据系列——Spark学习笔记Spark Streaming

1.SparkStreamingSparkStreaming是一个基于SparkCore之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理SparkStreaing中有一个最基本的抽象叫DStream（代理）,本质上就是一系列连续的RDD，DStream其实就是对RDD的封装DStream可以认为是一个RDD的工厂，该DStream里面生产都是相同业务逻辑的RDD，只不过是RDD里面要读
EVAO_大个子·2020-08-20 21:30

大数据系列——Spark学习笔记Spark Streaming

1.SparkStreamingSparkStreaming是一个基于SparkCore之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理SparkStreaing中有一个最基本的抽象叫DStream（代理）,本质上就是一系列连续的RDD，DStream其实就是对RDD的封装DStream可以认为是一个RDD的工厂，该DStream里面生产都是相同业务逻辑的RDD，只不过是RDD里面要读
EVAO_大个子·2020-08-20 21:30

[spark学习]之spark shell 入门

sparkshell是spark自带的一个快速原型开发的工具，在spark目录下面的bin目录下面，1.进入sparkshell：[hadoop@localhostbin]$MASTER=spark://localhost:7077./spark-shell或者直接输入[hadoop@localhostbin]$./spark-shell14/05/2315:14:00INFOspark.Http
JokerCao·2020-08-20 18:07

spark学习9之在window下进行源码编译打包

1.配置基本环境：jdk1.7scala-2.10.4maven3.3.9具体请看【2】和系列文章2.编译运行（1）下载：https://github.com/apache/spark（2）编译：D:\1win7\java\spark-1.5.2>setMAVEN_OPTS=-Xmx2g-XX:MaxPermSize=512M-XX:ReservedCodeCacheSize=512mD:\1wi
KeepLearningBigData·2020-08-19 09:20

Spark学习笔记—Spark工作机制

一.Spark执行机制1.执行机制总览Spark应用提交后经历一系列转变，最后成为task在各个节点上执行。RDD的Action算子触发job的提交，提交到Spark的Job生成RDDDAG，由DAGScheduler转换为StageDAG，每个Stage中产生相应的Task集合，TaskScheduler将任务分发到Executor执行。每个任务对应的数据块，使用用户定义的函数进行处理。2.Sp
Mr_zhujin·2020-08-19 08:54

Spark学习之路 （三）Spark之RDD

一、RDD的概述1.1什么是RDD？RDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。1.2RDD的属性（
weixin_33725272·2020-08-18 12:01

大数据技术之_19_Spark学习_03_Spark SQL 应用解析 + Spark SQL 概述、解析 、数据源、实战 + 执行 Spark SQL 查询 + JDBC/ODBC 服务器

大数据技术之_19_Spark学习_03第1章SparkSQL概述1.1什么是SparkSQL1.2RDDvsDataFramesvsDataSet1.2.1RDD1.2.2DataFrame1.2.3DataSet1.2.4
黑泽君·2020-08-18 12:58

Spark学习笔记 --- SparkStreaming 实现对 TCP 数据源处理

packagedemo1importorg.apache.spark._importorg.apache.spark.streaming._//importorg.apache.spark.streaming.StreamingContext._(spark1.3upperisnotnecessary)/*Usingthiscontext,wecancreateaDStreamthatrepres
杨鑫newlfe·2020-08-18 12:27

大数据技术之_19_Spark学习_01_Spark 基础解析小结（无图片）

1、准备安装包2、SparkStandalone即独立模式  2.1、解压安装包到你安装的目录。  2.2、拷贝conf目录下的slaves文件，将slave节点的hostname写在文件中，每行一个。  2.3、拷贝conf目录下的spark-env.sh文件，将SPARK_MASTER_HOST和SPARK_MASTER_PORT指定。  2.4、分发你的spark安装目录到其他节点。  2.
黑泽君·2020-08-18 12:27

Spark学习总结

本文为Spark学习总结一、Spark概述ApacheSpark是用于大数据处理的集群计算框架，它并未使用MapReduce作为执行引擎，而是使用自己的分布式运行环境在集群上执行工作。
烈光·2020-08-18 11:03

数据挖掘之Spark学习

阅读路线:Hadoop与Spark比较Spark的安装Spark知识点一、Hadoop与Spark比较1.简单的比较刚开始学习Spark的时候，自己总是会想当然的理解两者之间的关系。Hadoop和Spark的处理任务有很多是一样的，比如说他们都是有数据计算处理的功能，但是在一些方面又并不相互重叠，比如说，Spark没有文件管理功能，因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方
凡人求索·2020-08-18 11:05

大数据技术之_19_Spark学习_03_Spark SQL 应用解析小结

==========SparkSQL==========1、SparkSQL是Spark的一个模块，可以和RDD进行混合编程、支持标准的数据源、可以集成和替代Hive、可以提供JDBC、ODBC服务器功能。2、SparkSQL的特点：  （1）和SparkCore的无缝集成，可以在写整个RDD应用的时候，配合SparkSQL来实现逻辑。  （2）统一的数据访问方式，SparkSQL提供标准化的SQ
aodawu2891·2020-08-18 10:02

Spark学习笔记（三）：SparkStreaming实现对文件夹和socket的监听

SparkStreaming是Spark的一个流式计算框架，它支持对许多数据源进行实时监听，例如Kafka,Flume,Kinesis,TCPsockets，甚至文件夹，并实现实时计算的能力。对文件夹的监听deffileStreaming():Unit={/***监听文件夹的新增文件内容*///至少要启动2个线程以上，1个用于监听，1个用于处理数据valconf=newSparkConf().se
我就算饿死也不做程序员·2020-08-18 10:14

【PySpark学习笔记二】DataFrame用法

DataFrame是一种不可变的分布式数据集。Spark早期的API中，由于JVM和Py4J之间的通信开销，使用Python执行查询会明显变慢。Python到RDD之间的通信在PySpark驱动器中，SparkContext通过Py4J启动一个JavaSparkContext的JVM，所有的RDD转换最初都映射到Java中的PythonRDD对象。这样，Python和JVM之间就存在很多上下文切换
roguesir·2020-08-18 10:42

大数据技术之_19_Spark学习_04_Spark Streaming 应用解析小结

==========SparkStreaming是什么==========1、SParkStreaming是Spark中一个组件，基于SparkCore进行构建，用于对流式进行处理，类似于Storm。2、SparkStreaming能够和SparkCore、SparkSQL来进行混合编程。3、SparkStreaming我们主要关注：  （1）SparkStreaming能接受什么数据？kafka
aodawu2891·2020-08-18 10:39

Spark学习之路（三）【RDD编程 API——转换算子Transformation】

RDD编程APISpark支持两个类型（算子）操作：Transformation和ActionTransformation主要做的是就是将一个已有的RDD生成另外一个RDD。Transformation具有lazy特性(延迟加载)。Transformation算子的代码不会真正被执行。只有当我们的程序里面遇到一个action算子的时候，代码才会真正的被执行。这种设计让Spark更加有效率地运行。常
高志遠·2020-08-18 00:54

Spark学习笔记（二）| Spark任务调度机制

文章目录1.Spark任务调度概述2.Spark通信机制3.任务调度过程3.1SparkStage级调度3.2SparkTask级调度3.2.1调度策略3.2.2本地化调度3.2.3失败重试与黑名单机制1.Spark任务调度概述当Driver任务启动之后，Driver则会根据用户程序逻辑准备任务，并根据Executor资源情况逐步分发任务。一个Spark应用程序包括Job、Stage以及Task三
辣鸡翅17·2020-08-17 23:28

Spark学习笔记（四）| Spark内存管理

文章目录1.堆内和堆外内存规划1.1堆内内存1.1.1内存申请与释放1.2堆外内存2.内存空间分配2.1静态内存管理(Spark1.6版本以前)2.2统一内存管理(Spark1.6以后)3.存储内存(Storage)管理3.1RDD的持久化机制3.2RDD的缓存过程3.3淘汰与落盘主要需要学习的Executor上面的内存管理1.堆内和堆外内存规划作为一个JVM进程，Executor的内存管理建立在
辣鸡翅17·2020-08-17 23:28

Spark学习|Spark中的四种Join操作

文章目录1.四种Join操作1.1join1.2leftOuterJoin1.3rightOuterJoin1.4fullOuterJoin2.Option对象为什么要使用Option1.四种Join操作Join操作在特征提取的过程是一个经常使用的操作，当从多个数据源提取特征之后，使用Join操作将数据合并成一个完整的特征数据，以供后续的使用。这里记录Spark中的四种Join操作的学习记录：jo
辣鸡翅17·2020-08-17 23:28

Spark学习笔记（三）| Shuffle解析

文章目录1.Shuffle核心要点1.1ShuffleMapStage与FinalStage1.2Shuffle中的任务个数1.3reduce端数据读取2.HashShuffle解析2.1未经优化的HashShuffleManager2.2经过优化的HashShuffleManager3.SortShuffle解析3.1普通运行机制3.2bypass运行机制1.Shuffle核心要点1.1Shuf
辣鸡翅17·2020-08-17 23:28

Spark学习笔记（三）——SparkSQL（DataSet、DataFrame、hive集成、连接mysql）

SparkSQLSparkSQL精华及与Hive的集成一、SparkSQL简介1、SQLonHadoop2、SparkSQL前身3、SparkSQL架构4、SparkSQL运行原理5、Catalyst优化器二、SparkDatasetAPI1、创建2、Dataset3、演练三、SparkDataFrameAPI1、介绍2、对比3、创建4、常用操作5、RDD和DataFrame转换四、SparkSQ
throws-Exception·2020-08-17 09:31

pyspark学习---1、mac：pyspark安装以及各种运行方法测试以及报错解决方案

@TOCpyspark安装安装jdk安装scala安装spark安装pyspark(1)安装jdk之前安装过的，通过java-version查看版本为1.8.0_221(2)安装scala环境路径配置：先打开文件：vim~/.zshrc默认的话需要打开vim~/.bash_profile,我这里因为使用了zsh作为bachshell所以打开zshrc。exportSCALA_HOME=/Users
ciecus_csdn·2020-08-17 00:32

pyspark学习--2、pyspark的运行方法尝试

pyspark学习--2、pyspark的运行方法尝试以及各种示例代码尝试运行方法pycharm运行系统中的spark运行：spark-submit启动spark任务运行示例代码流式文本处理streamingcontext
ciecus_csdn·2020-08-17 00:32

spark学习

1、windows下安装sparkhttps://www.cnblogs.com/cuiocean/p/7630529.html其中需要安装Scala、JDK、Spark、hadoop；2、在Intellij中配置sparkhttps://www.cnblogs.com/lemonqin/p/4186782.html安装scala插件，导入jdk、scalasdk、sparkjar包；3、Inte
涛涛不绝蕾蕾于冬·2020-08-16 10:06

spark学习之入门（一）

spark是一个快速且通用的集群计算平台。spark特点spark是通用的，设计容纳了其它分布式系统拥有的功能，批处理，迭代式计算，交互查询和流处理等。spark是内存性的，扩充了mapReduce的计算模型spark组件sparkCore包含spark的基本功能，包含任务调度，内存管理，容错机制等，内部定义了RDDs(弹性分布式数据集）提供了很多API来创建和操作RDDs。为其它组件提供底层的服
MineCodelife·2020-08-15 21:39

Spark学习(文件读取路径）

在不同的启动模式下，加载文件时的路径写法是不一样的，对于local模式下，默认就是读取本地文件，而在standlone或者yarn-client,或者cluster模式下，默认读的都是hdfs文件系统，这几种模式下很难读取本地文件（这是很显然的事情，但你可以通过指定节点的文件服务曲线救国）。下面的代码在local模式下有效，在其它模式下无效：vartheP1=sc.textFile(“file:/
liuzx32·2020-08-15 14:10
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他