Spark学习

Spark学习笔记11:RDD算子

目录一、RDD算子二、准备工作（一）准备文件1、准备本地系统文件2、准备HDFS系统文件（二）启动SparkShell1、启动HDFS服务2、启动Spark服务3、启动SparkShell三、转化算子（一）映射算子-map()1、映射算子功能2、映射算子案例A、将rdd1每个元素翻倍得到rdd2B、将rdd1每个元素平方得到rdd21、采用普通函数作为参数传给map()算子2、用下划线表达式作为参
balabalalibala·2023-08-16 06:20

Spark学习之路 （七）Spark 运行流程

《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》目录一、Spark中的基本概念二、Spark的运行流程2.1Spark的基本运行流程三、Spark在不同集群中的运行架构3.1SparkonStandalone运行过程3.2SparkonYARN运行过程正文一、Spark中的基本概念（1）Application：表示你的应用程序（2）Driver：表示main()函
王知无(import_bigdata)·2023-08-14 14:09

Spark学习记录

RDDRDD的全称是：ResilientDistributedDataset（弹性分布式数据集）五个关键特性：所有分区的列表计算每个split的函数对其他RDD上依赖的列表可选的，对kv的RDD的Partitioner可选的，对每个split计算偏好的位置为解决资源不能在内存中，并且跨集群重复使用的问题，我们抽象出了RDD的概念，可以支持在大量的应用之间高效的重复利用数据。RDD是一种具备容错性、
阿涛哥·2023-08-12 03:23

Spark入门学习

参考资料是厦门大学的Spark学习基础，对应网址上有关于Spark运行机制的6个视频的讲解（3.3节），更加通俗易懂。  
妖皇裂天·2023-08-11 03:31

pyspark学习笔记——RDD

目录1.程序执行入口SparkContext对象2.RDD的创建2.1通过并行化集合创建（本地对象转分布式RDD）2.2读取外部数据源（读取文件）2.2.1使用textFileAPI2.2.2wholeTextFileAPI2.3RDD算子2.4常用Transformation算子2.4.1map算子2.4.2flatMap算子2.4.3reduceByKey算子2.4.4mapValues算子2
千层肚·2023-08-04 18:33

spark学习(13)之SparkStreaming的其他数据源

之前我们的SparkStreaming都是一些Socket的数据了，还有其他几种文件流：监控一个目录中文件变化，只要有新文件产生他就会读入importorg.apache.spark.streaming.StreamingContextimportorg.apache.spark.streaming.Secondsimportorg.apache.log4j.Loggerimportorg.apa
枣泥馅·2023-07-29 01:20

Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）

这是本人的学习过程，看到的同道中人祝福你们心若有所向往，何惧道阻且长；但愿每一个人都像星星一样安详而从容的，不断沿着既定的目标走完自己的路程；最后想说一句君子不隐其短，不知则问，不能则学。如果大家觉得我写的还不错的话希望可以收获关注、点赞、收藏（谢谢大家）文章目录一、SparkStreaming概述1.1SparkStreaming是什么1.2SparkStreaming架构原理1.2.1什么是D
星光下的赶路人star·2023-07-16 03:40

Spark学习---7、Spark内核（源码提交流程、任务执行、Shuffle、内存管理）

这是本人的学习过程，看到的同道中人祝福你们心若有所向往，何惧道阻且长；但愿每一个人都像星星一样安详而从容的，不断沿着既定的目标走完自己的路程；最后想说一句君子不隐其短，不知则问，不能则学。如果大家觉得我写的还不错的话希望可以收获关注、点赞、收藏（谢谢大家）文章目录一、源码全流程1.1Spark提交流程（YarnCluster）1.2Spark通讯架构1.3Spark任务划分1.4任务调度1.5Sh
星光下的赶路人star·2023-07-16 03:40

Eclipse创建包含Scala的Maven工程_Spark学习demo

为了学习spark，在mac上使用eclipse创建包含scala的maven工程，并打包至于服务器运行。1.1hadoop安装安装hadoop2.6.0，参考博客1.2spark下载下载spark-1.6.0-bin-hadoop2.6.tgz，在官网下载，在chooseadownloadtype中建议选择selectapachemirror。下载完成之后放在自己的相应目录，运行spark命令：
DevinShuai·2023-06-21 12:53

Spark学习笔记(1)RDD

RDDRDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。RDD内部结构.pngRDD5大特型Alistof
灯火gg·2023-06-21 06:12

Spark学习笔记（一）：Spark 基本原理

文章目录1、Spark整体架构1.1、Spark集群角色1.1.1、ClusterManager1.1.2、WorkerNode1.1.3、Executor1.1.4、Application1.1.5、Driver1.1.6、Executor2、Spark运行基本流程2.1、RDD2.2、DAG2.3、DAGScheduler2.4、TaskScheduler2.5、Job2.6、Stage2.7
leo825...·2023-06-17 17:36

Spark学习笔记——龟速更新。。

文章目录Spark学习笔记第一章、基本认识与快速上手1.1、认识Spark1.2、对比Hadoop1.3、Spark组成基本介绍1.4、快速上手之WorldCount实现1.4.1、方式一（Scala类似集合操作实现
5akura·2023-06-12 23:12

spark rdd java_Spark学习笔记之Spark中的RDD的具体使用

1.Spark中的RDDResilientDistributedDatasets(弹性分布式数据集)Spark中的最基本的抽象有了RDD的存在我们就可以像操作本地集合一样操作分布式的数据包含所有元素的分区的集合RDD包含了很多的分区2.RDD中的弹性RDD中的数据是可大可小的RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘RDD有自动容错功能,当其中
Minitab Users Group·2023-06-12 23:41

大数据系列——Spark学习笔记之Spark中的RDD

1.Spark中的RDDResilientDistributedDatasets(弹性分布式数据集)Spark中的最基本的抽象有了RDD的存在我们就可以像操作本地集合一样操作分布式的数据包含所有元素的分区的集合RDD包含了很多的分区2.RDD中的弹性RDD中的数据是可大可小的RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘RDD有自动容错功能,当其中
EVAO·2023-06-12 23:09

spark运行原理

1、YARN架构设计详解2、SparkonYarn的运行原理3、详细探究Spark的shuffle实现4、Spark基本工作流程及YARNcluster模式原理5、Spark学习笔记1：Application
潮生明月·2023-06-09 10:19

Spark学习笔记[3]-Spark安装部署

Spark学习笔记[3]-Spark安装部署1、下载对应版本的spark  官网我始终都下不下来，推荐一个国内的镜像：https://mirrors.tuna.tsinghua.edu.cn/apache
kinglinch·2023-06-09 08:03

spark-env.sh配置——Spark学习日记

大数据Spark不显示Worker问题配置好spark后，输入jps只有Master，没有Worker修改spark-env.sh文件找到spark-env.sh位置//我的spark-env.sh位置/home/hadoopadmin/spark-2.3.1-bin-hadoop2.7/conf如果有template结尾的文件，都重命名为去掉template编辑spark-env.sh文件vim
YYYYYY.·2023-06-08 08:51

Spark学习:spark读写postgreSql

读写PostgreSql一、环境搭建二、写三、读四、ETL一、环境搭建1、spark安装包,官网地址，我下的是如下版本2、postgreSql数据库jdbc驱动,官网地址,我下的是如下版本3、java版本1.8;scala版本2.12.154、spark安装包解压到任意目录,把postgreSql的jdbc驱动jar包放在spark的jars目录下5、创建maven项目,把maven项目的Modu
我爱夜来香A·2023-04-21 03:04

Spark学习:使用RDD API实现倒排索引

使用RDDAPI实现倒排索引一、本地IDE运行二、打成jar包到spark环境上运行三、使用DataFrame一、本地IDE运行1、pom.xml<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation
我爱夜来香A·2023-04-18 13:32

spark学习（二）从hello world开始

每当第一次学习一门语言时，都会写个helloWorld程序，spark也不例外，让我们从spark的helloWorld（wordcount）开始。在github中，spark有完整的wordcount源码，代码清晰整洁，是用RDD完成编码的，但上一节提到过spark2.0之后推荐使用Dataset进行编码，所以本节笔者试着使用Dataset进行wordcount程序编写。大家可以点击代码连接查看
mumu_cola·2023-04-17 16:15

Spark学习笔记

1.Spark简述Spark通过内存计算能力，急剧的提高大数据处理速度。解决了Hadoop只适合于离线的高吞吐量、批量处理的业务场景的弊端，提出了实时计算的解决方法。1.1Spark特点a.快速处理能力：Hadoop的MapReduce中间数据采用磁盘存储，而Spark优先使用内存避免大量的磁盘IO，极大的提高了计算速度；b.支持性强：Spark支持Java、Scala、Python等；c.可查询
zhglance·2023-04-14 03:39

SPark学习笔记：08-SParkSQL的DataFrame和DataSet操作

文章目录概述DataFrame的常用API操作添加maven依赖创建SparkSessionDataFrame的创建DataFrame的DSL操作DataFrame的SQL操作DataSet的常用操作DataSet的创建DataSet与DataFrame、RDD之间的关系和互转概述在Spark中DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库的二维表格。和python的Pan
wangzhongyudie·2023-04-13 20:44

spark学习笔记（九）——sparkSQL核心编程-DataFrame/DataSet/DF、DS、RDD三者之间的转换关系

目录前言DataFrame创建DataFrameSQL语法DSL语法RDD转换为DataFrameDataFrame转换为RDDDataSet创建DataSetRDD转换为DataSetDataSet转换为RDDDataSet和DataFrame的转换RDD、DataFrame、DataSet之间的关系相同点区别点相互转换sparkSQL-IDEA编程添加依赖RDDDataSetDataFrame
一个人的牛牛·2023-04-13 20:11

Spark学习笔记08:Scala数据结构

目录（一）定长数组1、数组定义（1）定义数组时初始化数据（2）定义时指定数组长度后赋值2、数组遍历（1）传统for循环方式（2）增强for循环方式（3）利用foreach算子遍历数组（4）数组求和3、常用方法（1）求数组中数值总和（2）求数组中的最大值（3）求数组中的最小值（4）对数组进行升序排序（5）对数组进行降序排序（二）变长数组1、数组定义2、数组合并3、插入元素4、移除元素二、列表(Lis
balabalalibala·2023-04-12 21:18

Spark定制班第1课：通过案例对Spark Streaming透彻理解三板斧之一：解密Spark Streaming另类实验及Spark Streaming本质解析

从今天起，我们踏上了新的Spark学习旅途。我们的目标是要像Spark官方机构那样有能力去定制Spark。我们最开始将从SparkStreaming入手。
rolin-刘瑞·2023-04-09 12:12

Spark学习（六）：Spark SQL二

目录4.数据的read、write和savemode4.1数据的读取4.2数据的写出4.3数据保存的模式5.SparkSQL数据源5.1数据源之json5.2数据源之parquet5.3数据源之csv5.4数据源之JDBC5.5数据源之hive4.数据的read、write和savemode4.1数据的读取一些常见的数据源，parquet：是之前输出parquet文件的目录，读取该目录下的所有文件
jiezou12138·2023-04-09 02:56

大数据之Spark基础环境

是什么（二）Spark的四大特点（三）Spark的风雨十年（四）Spark框架模块（五）Spark通信框架总结前言本篇文章开始介绍Spark基础知识，包括Spark诞生的背景，应用环境以及入门案例等，还是Spark
·2023-04-06 17:00

pyspark学习笔记：4- zookeeper3.5.9+kafka2.11-2.4.1单机部署+python api模拟消费者+pyspark结构化流集成kafka的简单使用-2023-2-14

pyspark学习笔记：4-zookeeper3.5.9+kafka2.11-2.4.1单机部署+pythonapi和pyspark结构化流集成kafka的简单使用-2023-2-14zookeeper
Merlin雷·2023-04-06 08:51

spark学习2：spark运行基本架构

各个名词介绍：1.RDD-弹性分布式数据集2.DAG-有向无环图反应各RDD之间关系，即把第一个RDD和最后一个RDD串联起来的关系图。根据DAG能够找到每个RDD的父RDD3.executorexecutor是驻守在各个工作节点中的一个进程，负责生成线程来执行分配给该工作节点的任务4.application程序员编写的一整个代码文件，比如一个wordcount代码文件5.任务executor派生
hzp666·2023-04-05 19:37

spark学习5：spark-shell

1.spark提供了交互式接口spark-shellspark-shell实现了用户可以逐行输入代码，进行操作的功能。即可以不像Java一样，编写完所有代码，然后编译才能运行spark-shell支持Scala交互环境和python交互环境在学习测试中可以使用spark-shell进行API学习2.进入Scala交互环境在spark安装目录的根目录下，有个bin目录中有个spark-shell在b
hzp666·2023-04-04 20:23

Spark学习2

1.Spark程序监控端口4040：运行的Application临时绑定的端口，多个程序同时运行会顺延8080：在StandAlone下，Master角色的Web端口18080：历史服务器的端口，可以查看历史任务的运行状态2.Spark程序运行的四个层级4040端口查看的是一个运行的程序的页面。相当于Application每个Application中都至少有一个子任务Job每个子任务Job会分成多
半觞盛夏半觞秋·2023-04-03 01:49

大数据之Spark基础环境

的四大特点（三）Spark的风雨十年（四）Spark框架模块（五）Spark通信框架总结前言#博学谷IT学习技术支持#本篇文章开始介绍Spark基础知识，包括Spark诞生的背景，应用环境以及入门案例等，还是Spark
敲键盘的杰克·2023-04-02 03:37

Spark学习

1.Spark是什么是用于分布式内存计算的统一分析引擎RDD：弹性分布式数据集，使得程序员能够在大规模集群中做内存运算中间数据存储在内存中，从而提高了运行速度（Hadoop要进行多次磁盘和内存的读写）2.HadoopVSSpark但Spark并不是完全替代Hadoop：计算层面上，虽然Spark比MR有很大的性能优势，但至今仍有很多计算工具基于MR框架，比如成熟的HiveSpark仅做计算，而Ha
半觞盛夏半觞秋·2023-04-02 03:53

spark学习笔记：RDD的依赖关系

1.RDD的依赖关系1.1RDD的依赖RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖（narrowdependency）和宽依赖（widedependency）。1.2窄依赖窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用总结：窄依赖我们形象的比喻为独生子女1.3宽依赖宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partiti
黄道婆·2023-04-02 02:33

Spark简介及运行架构

Spark学习网站建议从学习Spark官方文档开始：QuickStart-Spark2.1.1DocumentationSparkProgrammingGuide这里有对应的中译版：Spark官方文档－
一碗竹叶青·2023-04-02 02:28

Spark学习笔记-理论篇-01-Spark系统综述

文章目录Spark系统综述1.1大数据处理框架1.2Spark大数据处理框架1.2.1RDD的表达能力1.2.2Spark子系统Spark系统综述1.1大数据处理框架集群环境对编程来说带来了很多挑战，比如并行化，这要求我们以并行化的方式充给应用程序，以利用更大范围的节点运算能力。第二个挑战就是对单点失败的处理，节点宕机以及个别节点计算缓慢在集群环境非常普遍，这会影响程序的性能。最后一个挑战是集群通
Chris刘·2023-04-01 13:01

spark学习之Lambda架构日志分析流水线

单机运行一、环境准备Flume1.6.0Hadoop2.6.0Spark1.6.0Javaversion1.8.0_73Kafka2.11-0.9.0.1zookeeper3.4.6二、配置spark和hadoop配置见（）kafka和zookeeper使用默认配置1、kafka配置启动bin/kafka-server-start.shconfig/server.properties创建一个tes
weixin_30492047·2023-04-01 07:01

Spark学习之（RDD 转换算子）心得

1.转换算子：功能的补充和封装，将旧的RDD包装成新的RDD2.map():返回一个新的RDD，该RDD由每一个输入元素经过函数转换后组成（每次处理一条数据）rdd的计算在分区内是一个一个的执行逻辑，分区内数据执行有序，不同分区执行无序map将处理的数据逐条进行映射转换，转换可以是类型的转换，也可以是值的转换3.mapPartitions():与map类似，可以以分区为单位进行数据转换操作（每次处
顺其自然的济帅哈·2023-03-31 00:08

Spark学习日记（双Value类型算子）

交集，并集，差集，zip。两个数据源之间的关联操作13.intersection如果两个RDD数据类型不一致，编译不通过。底层rdd：[T]:底层rdd：[T]返回底层rdd：[T]14.union如果两个RDD数据类型不一致，编译不通过。底层rdd：[T]:底层rdd：[T]返回底层rdd：[T]15.subtract如果两个RDD数据类型不一致，编译不通过。底层rdd：[T]:底层rdd：[T
纵配天·2023-03-31 00:28

Spark工作总结（干货篇）

Spark学习总结文章目录Spark学习总结什么是大数据Spark介绍及特点Spark架构及重要角色Spark程序启动流程基础篇`Dataset`和`DataFrame`广播变量累加器算子篇转化算子，行动算子
治愈爱吃肉·2023-03-30 02:30

Spark学习（七）：数据绘图工具Breeze-Viz

因为要进行数据分析，开发原型的过程中最好能绘图，上网查了一下，Spark或scala中比较常用的绘图工具是Breeze-Viz，于是参考博文上手Breeze-Viz。Breeze-Viz介绍breeze-viz是git开源项目scalanlp/breeze的一部分，它能在java/scala语言环境绘制x-y点图，统计图，二维矩阵灰度图。breeze项目现在用途很广泛，SparkMLlib很多机器
CocoMama190227·2023-03-28 11:25

spark学习笔记2-Spark SQL

SparkSession类DataFrame类Sql语句操作DataSet类数据源小结预备知识：1、SparkSQL是在SparkCore基础上的一个扩展库，如果需要了解spark的基础知识，可参考文档《spark
我是老薛·2023-03-23 01:11

[Spark学习] Spark RDD详解

什么是RDDRDD(ResilientDistributedDatasets)，弹性分布式数据集，是Spark的基本数据结构。它是一个不可变的分布式对象集合。RDD中的每个数据集被划分为逻辑分区，其可以在集群的不同节点上计算。RDD可以包含任何类型的Python，Java或Scala对象，包括用户定义的类。形式上，RDD是只读的分区记录集合。可以通过读取外部存储系统中的数据集(如HDFS，HBas
LestatZ·2023-03-16 04:03

Spark学习笔记02-Spark 分别使用Java和Scala实现wordcount案例

一、需求描述需求：文件中存储的各种各样的单词，统计在这些文件中每个单词的出现次数。比如下面txt文件，统计各个单词出现的次数。image.png好了。。不多说。。。直接上代码。。。二、使用Java实现importorg.apache.spark.SparkConf;importorg.apache.spark.SparkContext;importorg.apache.spark.api.java
数据蝉·2023-03-14 23:48

SPark学习笔记：05-SPark RDD的持久化

文章目录RDD的持久化checkpoint()checkpoint的使用checkpoint的流程：cache()/persist()persist的使用persist的持久化级别checkpoint和persist(数据缓存磁盘方式)的区别RDD的持久化RDD的持久化是Spark中的一个非常重要的概念。当我们持久化一个RDD时，每个节点将其所计算的每个分区持久化到内存中，这样用到这些数据的其他的
wangzhongyudie·2023-03-12 08:43

马士兵spark学习

文档地址http://mashibing.com/wiki/Spark上传文件解压#cdtraining#tar-xvfspark-2.1.0-bin-hadoop2.7.tgz#rm-rfspark-2.1.0-bin-hadoop2.7.tgz#mvspark-2.1.0-bin-hadoop2.7spark#cdspark#vi/etc/profile#./bin/spark-submit-
lehuai·2023-02-19 00:58

Spark学习

文章目录YarnResourceManager调度器Schedule应用程序管理器ApplicationManagerYarn工作流程Spark基本概念三大数据结构Spark的三大优势：Spark的组件：Spark的架构ClusterManagerWorkerNodeDriverExecutor工作流程RDDTransformation转换Action操作RDD特性RDD依赖关系RDD缓存RDD属
银晗·2023-02-18 20:36

Spark学习笔记(5)——RDD的创建

默认情况下，Spark可以将一个作业切分多个任务后，发送给Executor节点并行计算，而能够并行计算的任务数量我们称之为并行度。这个数量可以在构建RDD时指定。但是切分任务的数量不一定等于并行执行的任务数量，比如当节点资源数量小于切分数量时。在Spark中创建RDD的创建方式可以分为四种：一、从集合（内存）中创建RDD1.从集合中创建RDD使用makeRDD方法//*号表示本地环境中最大可用核数
程光CS·2023-02-03 12:26

Spark学习笔记10:创建RDD

目录一、什么是RDD（一）RDD概念（二）RDD示例（三）RDD主要特征二、做好准备工作（一）准备文件1、准备本地系统文件2、启动HDFS服务3、准备HDFS系统文件（二）启动SparkShell1、启动Spark服务2、启动SparkShell三、创建RDD（一）从对象集合创建RDD1、利用parallelize()方法创建RDD2、利用makeRDD()方法创建RDD3、总结说明（二）从外部存
balabalalibala·2023-02-03 12:54

spark学习（三）RDD初窥

ThemainabstractionSparkprovidesisaresilientdistributeddataset(RDD),whichisacollectionofelementspartitionedacrossthenodesoftheclusterthatcanbeoperatedoninparallel.以上时spark官网对RDD的描述，下面让我们进入RDD的世界吧！RDD：每
mumu_cola·2023-02-01 23:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他