Spark学习之路

Spark学习之Spark Core

什么是Spark？（官网：http://spark.apache.org）https://www.cnblogs.com/lq0310/p/9841647.html
John Stones·2024-01-05 22:51

Hotspot 垃圾回收之ConcurrentMarkSweepGeneration（二） 源码解析

目录一、ModUnionClosure/ModUnionClosurePar二、CMSIsAliveClosure/CMSParKeepAliveClosure三、CFLS_LAB1、构造方法和modify_initialization2
孙大圣666·2024-01-05 19:07

spark的任务提交方式及流程

本地模式local测试用,不多赘述分布式模式standalonestandalone集群是spark自带的一个资源调度集群，分为两个角色，master/worker，master负责接收任务请求、资源调度
qzWsong·2024-01-05 19:29

如何开启新领域的学习之路？你需要掌握这3个工具

朋友晓欣刚辞职做了全职妈妈，她说为了以后重新踏入职场，她必须在这几年间好好提升自己，一方面想学习投资方面的知识，增加额外的收入，一方面想学习英语，拓宽自己的职业道路。可是，这两方面她都是新手，从来没有接触过，她不知道如何开始，加上现在的学习不像以前上学的时候，有老师教我们，有考试来考验自己是否掌握，更没有教材帮我们快速入门。晓欣觉得很苦恼，开始感到焦虑。其实我懂她此时的彷徨，想提升自己，却没有好的
Jacqueline_015·2024-01-05 17:39

进入IC行业的学习之路：建议和必读书籍推荐

近期有不少渴望进入IC行业的同学在后台给我留言，他们询问如何入门？需要学习哪些内容？推荐的入门必读书籍。在这个行业已经有些年头了，多多少少有一些经验之谈，今天在这里，我将以我的经验和专业知识为基础，给那些对IC行业充满热忱的人提供一些建议和指导。并为大家推荐一本经典的入门书籍——《数字集成电路：电路系统与设计》，它将帮助大家建立起坚实的基础知识，并掌握IC行业的关键概念和技术。供学习参考，私信移知
移知·2024-01-05 16:05

Apache Doris (六十一）： Spark Doris Connector - (1)-源码编译

博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录1.SparkDorisConnector2.Spark与Doris版本兼容
IT贫道·2024-01-05 14:40

Iceberg: 列式读取Parquet数据

通过Spark读取Parquet文件的基本流程SQL==>Spark解析SQL生成逻辑计划树LogicalPlan==>Spark创建扫描表/读取数据的逻辑计划结点DataSourceV2ScanRelation
Dreammmming Time·2024-01-05 14:55

《PySpark大数据分析实战》-24.数据可视化图表介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-05 13:02

大数据开发个人简历范本（2024最新版-附模板）

Hadoop大数据运维工程师背景，熟悉相关技术和工具具备良好的团队合作能力，善于沟通和协作具有快速学习新知识和解决问题的能力对于数据科学和分析充满热情，喜欢研究和探索新技术专业技能大数据熟悉Hadoop、Spark
itLeeyw·2024-01-05 13:53

Spark OFF_HEAP

OFF_HEAPSpark中RDD提供了几种存储级别，不同的存储级别可以带来不同的容错性能，例如MEMORY_ONLY,MEMORY_ONLY_SER_2...其中，有一种特别的是OFF_HEAPoff_heap
尼小摩·2024-01-05 13:18

Spark调优解析-GC调优3（七）

1GC调优Spark立足内存计算，常常需要在内存中存放大量数据，因此也更依赖JVM的垃圾回收机制。
有语忆语·2024-01-05 12:54

Spark调优解析-spark数据倾斜优化2（七）

1数据倾斜优化1.1为何要处理数据倾斜（DataSkew）什么是数据倾斜对Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。何谓数据倾斜？
有语忆语·2024-01-05 12:53

Spark调优解析-sparkshuffle和程序开发优化2(七)

1Shuffle调优1.1调优概述大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。
有语忆语·2024-01-05 12:49

python 并发、并行处理、分布式处理

定义协程阻塞代码->非阻塞ThreadPoolExecutor3.响应式编程被观察者运算符4.并行编程线程进程使用多个进程接口Executor，ProcessPoolExecutor5.锁6.分布式处理daskpysparkmpi4py
cjz0422·2024-01-05 12:18

CSS学习之路: 基础学习篇

css基础一、css3概述1.1、什么是cssCascadingstylesheets层叠样式表，级联样式表，简称样式表1.2、css作用对页面中html元素进行美化1.3、HTML和css的关系HTML：负责页面结构的搭建，负责数据的展示CSS：负责美化页面1.4、HTML自带的属性和css使用原则W3C建议我们尽量使用css的方式来取代html属性css样式1.样式代码可以重用2.便于维护1.
@德玛玩前端·2024-01-05 12:10

Javascript学习之路：事件在页面加载和关闭时的执行顺序

前言在实际项目中，如果我想在打开浏览器页面加载时执行某些任务，比如获取当前页面的全部或部分数据，优先想到的事件是onload，当关闭页面时，我们也常常会使用onunload事件。但是这两个事件却有一定的局限性，如果第一次加载页面时，onload事件一定会执行，而如果页面从缓存中获取，onload事件则无法执行；比如使用onunload事件，关闭页面时，页面是不会保存在缓存中的；又比如，我想在页面加
@德玛玩前端·2024-01-05 12:10

css学习之路：sass学习基础篇

SCSS一、动态的样式语言让CSS有变量的概念css有很多的缺点语法不够强大，没有变量和合理的样式复用机制，导致难以维护，我们就可以使用动态样式语言，赋予CSS新的特性。常见的动态样式语言scss/sass（scss兼容sass，因为scss更接近css的语法）boot4sass是一个成熟、稳定、强大的CSS扩展语言解析器。lessboot3LESS为CSS赋予了动态语言的特性，如变量、继承、运算
@德玛玩前端·2024-01-05 12:37

Spark SQL（六）：JDBC数据源

SparkSQL支持使用JDBC从关系型数据库（比如MySQL）中读取数据。读取的数据，依然由DataFrame表示，可以很方便地使用SparkCore提供的各种算子进行处理。
雪飘千里·2024-01-05 11:12

Spark内核解析-部署模式解析8(六)

1、部署模式解析1.1部署模式概述Spark支持的主要的三种分布式部署方式分别是standalone、sparkonmesos和sparkonYARN。
有语忆语·2024-01-05 10:06

Spark内核解析-内存管理7(六)

1、Spark内存管理Spark作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理的基本原理，有助于更好地开发Spark应用程序和进行性能调优。
有语忆语·2024-01-05 10:36

Spark调优解析-spark调优基本原则1（七）

1调优基本原则1.1基本概念和原则首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起：每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor
有语忆语·2024-01-05 10:36

Spark内核解析-整体概述1（六）

1、Spark整体概述1.1整体概念ApacheSpark是一个开源的通用集群计算系统，它提供了High-level编程API，支持Scala、Java和Python三种编程语言。
有语忆语·2024-01-05 10:35

Spark内核解析-Spark shuffle6(六)

1、SparkShuffle过程1.1MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。
有语忆语·2024-01-05 10:35

SparkStreaming基础解析（四）

1、SparkStreaming概述1.1SparkStreaming是什么SparkStreaming用于流式数据的处理。
有语忆语·2024-01-05 10:05

Spark内核解析-脚本解析2（六）

2、脚本解析在看源码之前，我们一般会看相关脚本了解其初始化信息以及Bootstrap类，Spark也不例外，而Spark中相关的脚本如下：%SPARK_HOME%/sbin/start-master.sh
有语忆语·2024-01-05 10:05

Spark内核解析-数据存储5（六）

1、Spark的数据存储Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系
有语忆语·2024-01-05 10:05

Spark基础解析（一）

1、Spark概述1.1什么是Spark1.2Spark内置模块SparkCore：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。
有语忆语·2024-01-05 10:04

2024.1.4 Spark Core ,RDD ,算子

的五大特点四.算子五.分区算子,重分区算子,聚合算子,关联算子分区算子:重分区算子聚合算子关联算子:一.RDD(弹性分布式数据集)Resilent弹性Distrbuted分布式Dataset数据集1.rdd是Spark
白白的wj·2024-01-05 10:01

SparkCore基础解析（二）

1、RDD概述1.1什么是RDDRDD（ResilientDistributedDataset）叫做分布式数据集，是Spark中最基本的数据抽象。
有语忆语·2024-01-05 10:58

Spark内核解析-节点启动4（六）

Master作为Endpoint的具体实例，下面我们介绍一下Master启动以及OnStart指令后的相关工作1.1脚本概览下面是一个举例：/opt/jdk1.7.0_79/bin/java-cp/opt/spark
有语忆语·2024-01-05 10:12

【Spark精讲】RDD共享变量：广播变量与累加器

在Spark中，提供了两种类型的共享变量：广播变量(broadcastvariable)与累加器(accumulator)广播变量：主要用于在节点间高效分发大对象。
话数Science·2024-01-05 10:42

【Spark精讲】Spark on Hive性能优化

yarn.nodemanager.resource.memory-mbyarn.nodemanager.resource.cpu-vcoresyarn.scheduler.maximum-allocation-mbyarn.scheduler.minimum-allocation-mb第三章Spark
话数Science·2024-01-05 10:10

【大数据】Spark学习笔记

初识SparkSpark和HadoopHadoopSpark起源时间20052009起源地MapReduceUniversityofCaliforniaBerkeley数据处理引擎BatchBatch编程模型
pass night·2024-01-05 09:16

Spark内核解析-通信架构3(六)

3、Spark通信架构Spark作为分布式计算框架，多个节点的设计与相互通信模式是其重要的组成部分。Spark一开始使用Akka作为内部通信部件。
有语忆语·2024-01-05 08:42

大数据学习方向

一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。
乐姐·2024-01-05 08:18

【Spark精讲】性能优化：并行度

Reduce端并行度RDD：参数：spark.default.parallelism手动：groupByKey(10)，10即为并行度SparkSQL：参数：spark.sql.shuffle.partitionsHiveonSpark
话数Science·2024-01-05 07:58

Unity UGUI开发，0GC更新视图

【USparkle专栏】如果你深怀绝技，爱“搞点研究”，乐于分享也博采众长，我们期待你的加入，让智慧的火花碰撞交织，让知识的传递生生不息！
UWA·2024-01-05 06:43

字节跳动 Spark 支持万卡模型推理实践

摘要：本文整理自字节跳动基础架构工程师刘畅和字节跳动机器学习系统工程师张永强在本次CommunityOverCodeAsia2023中的《字节跳动Spark支持万卡模型推理实践》主题演讲。
字节跳动云原生计算·2024-01-05 06:09

Python_PySpark实战

1.PySpark库的安装清华大学源：pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simplepyspark2.构建PySpark执行环境入口对象"""演示获取
Hooray11·2024-01-05 05:48

linux增加用户

#linux创建账户并自动生成主目录和主目录下的文件useradd-d/home/spark-mspark#带有加入root组的创建方式useradd-d/home/spark-groot-mspark
心在梦梦藏心·2024-01-05 05:47

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark
kikiki2·2024-01-05 00:48

SparkSQL、RDD和DataFrame基本操作

1三者比较易操作程度SparkSQL>DataFrame>RDD2创建RDD、DataFrame和SparkSQL2.1创建RDDrawUserData=sc.textFile("file:/home/
路人乙yh·2024-01-04 23:39

金色麦芒的2023

通过学习Hadoop、Spark等框架，我掌握了大数据的存储、处理和分析技术，能够更高效地处理大规模数据集。同时，我也深入学习
溜达的大象·2024-01-04 22:44

Python学习之路——初识Python

背景介绍学院设立了这一门选修课，早就听说了Python大法好，就选修了这一门课。安装Python点击此进入Python下载页面https://www.python.org/downloads根据系统和需要的版本，答主的是Windows，下载的最新的稳定版本，无特别需求直接下载第一个就行，比如我的是Python3.8.2版本。因为我之前安装过Python了，所以使用的是32位的安装程序做的示例，还是
CoderXshuai·2024-01-04 22:39

python学习之路——初识python

一、python是什么，可以用来干什么，为什么可以在现在社会那么常见？Python作为一门面向对象，解释型的计算机程序设计语言；是一种功能强大的通用型语言。与其他计算机程序设计语言最大的不同就是：Python采用缩进来定义语句块，简洁明了。且支持动态输入，可以采用多种编程方式，也能在多种操作系统中运行，如Windows，Linux，mac等。Python语法大多来自C语言，且具有高度拓展性，在高层
留言非语·2024-01-04 22:38

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2024-01-04 21:46

RDD持久化

RDD（ResilientDistributedDataset）叫做弹性分布式数据集，的其中一个特性就是弹性存储的弹性:spark计算过程中中间结果会保存
万事万物·2024-01-04 19:33

aaaaaa

然后，在SimpleApp.scala代码文件中输入以下代码：/*SimpleApp.scala*/importorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext
SunsPlanter·2024-01-04 15:24

《剑指offer》 链表第一题：从尾到头打印链表

//写在开头，博主是一名大专学生大一生，由于从九月份开始学习算法，但是一直处在理论学习，经老师推荐刷《剑指offer》，备战明年的蓝桥杯java组，写博客以此来记录学习之路，由于博主没有任何算法基础，从零开始学习
y6533·2024-01-04 13:29

2019-01-31

学习之道——学习的复兴在科学、数学和技术领域，必须开辟一条属于自己的学习之路，只有主动参与课题、项目研究和操作，靠自己剖析学习材料，而不是仅仅听别人言传，才会取得最好的学习效果。
天下谁人不读书·2024-01-04 13:09
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他