RDD分区

Spark RDD简介以及算子使用大全

目录一、sparkRDD（1）RDD简介（2）算子简介二、RDD的使用（基于Linux系统）（1）RDD创建①基于数据集合创建②基于外部数据源创建（2）transformation算子——map()（3
Sheenky·2025-05-15 22:37

mysql数据库备份和还原的命令_Mysql数据库备份和还原常用的命令

一、备份命令1、备份MySQL数据库的命令mysqldump-hhostname-uusername-ppassworddatabasename>backupfile.sql2、
weixin_39893274·2025-05-15 16:53

Android面试总结之Glide源码级理解

本文从阿里P8级缓存改造方案出发，结合Glide源码实现动态内存扩容、磁盘冷热分区、智能预加载等黑科技，彻底解决万级图片加载场景下的性能灾难一、Glide默认缓存架构的四大缺陷（源码级剖析）1.内存分配僵化
每次的天空·2025-05-15 11:18

Spark小文件合并

1.问题描述最近使用sparksql执行etl时候出现了，最终结果大小只有几百k，但是小文件一个分区有上千的情况。
weixin_lss·2025-05-15 06:15

Kafka、RabbitMQ、RocketMQ的区别

以下是RabbitMQ、RocketMQ、Kafka的核心区别对比：一、架构设计差异‌Kafka‌基于分布式日志的发布-订阅模型，通过分区（Partition）实现水平扩展，依赖ZooKeeper管理集群消费者通过消费者组
MYBOYER·2025-05-15 02:22

运行Spark程序-在shell中运行1

【老师总结】分布式计算需要做到：1.分区控制。把大的数据拆成一小份一小份的（分区，分片）让多台设备同时计算，所以要分区。2.Shuffle控制。
满分对我强制爱·2025-05-15 01:17

RDD-自定义分区器

定义自定义分区器：继承org.apache.spark.Partitioner类。实现分区逻辑：重写numPartitions和getPartition方法。使用自定义分区器对RDD进行分区。
富能量爆棚·2025-05-14 23:30

分区器和序列化

四）按照需求开始自定义分区器回顾我们的需求，我们在做词频统计的时候，把a-m开头的保存在一个文件中，n-z开头的保存在另一个文件中。此时，我们就需要使用自定义分区了。具体的流程是：定义一个分区类。
七七-d·2025-05-14 19:58

Spark缓存

1.避免重复计算：对于需要多次使用的RDD/DataFrame/Dataset，缓存后只需计算一次2.加速迭代算法：机器学习等迭代算法中，重复使用同一数据集时可显著提升性能3.优化执行计划：减少从数据源重复读取数据的开销缓存方法主要缓存
心仪悦悦·2025-05-14 16:16

键值对RDD数据自定义分区_大数据培训

自定义分区要实现自定义的分区器，你需要继承org.apache.spark.Partitioner类并实现下面三个方法。（1）numPartitions:Int:返回创建出来的分区数。
尚硅谷铁粉·2025-05-14 16:15

Spark的RDD转换算子-map、mapPartitions、mapPartitionsWithIndex

Spark的RDD转换算子-map、mapPartitions、mapPartitionsWithIndexRDD算子包括RDD转换算子和RDD行动算子，其实算子就相当于一种方法，在方法中封装想要实现所需结果的逻辑
牧码文·2025-05-14 16:45

详解 Spark 核心编程之 RDD 分区器

一、RDD分区器简介Spark分区器的父类是Partitioner抽象类分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle后进入哪个分区，进而决定了Reduce的个数只有Key-Value
文刀小桂·2025-05-14 16:14

RDD：分区器

目录RDD分区器哈希分区器范围分区器自定义分区(Partitioner)RDD分区器分区器（Partitioner）在前面章节中或多或少有所提及。
花和尚也有春天·2025-05-14 16:14

SparkSQL入门学习

SparkSQLSparkSQL是构建在SparkRDD之上一款ETL（ExtractTransformationLoad）工具（类似Hive-1.x-构建在MapReduce之上）。
田晓彬·2025-05-14 16:12

RDD自定义分区方法(按班级把同一个班级的学生放到一个文件中)和自定义排序方法（先按数学成绩排序，数学成绩相同再按语文成绩排序）

自定义排序例题：先按照数学成绩进行倒叙排序如果数学成绩相同语文成绩谁高谁在前tom9866jack5555bob9844joe4499max6079peter6055jerry6099kay9999kim9899代码实现带*****号表示是关键词objectZ_StorextendsApp{valconf=newSparkConf().setAppName("sort").setMaster("l
struggle@徐磊·2025-05-14 16:41

尚硅谷大数据Spark之RDD转换算子学习笔记及面试题

Transformation操作是延迟计算的，也就是说从一个RDD转换生成另一个RDD的转换操作不是马上执行，需要等到有Action操作的时候才会真正触发运算。
qq_25127933·2025-05-14 16:11

RDD转换算子sortByKey详解

sortByKey()格式:sortByKey(ascending=True|False默认为True)说明:根据key进行排序操作,默认按照key进行升序排序,如果需要倒序设置ascending为Falserdd
留不住的人·2025-05-14 16:40

Spark RDD 自定义分区器

前言在很多中间件中，例如kafka，有这么一种机制，可以将指定规则的数据发送到特定的分区，再比如rabbitmq，可以根据key的后缀进行匹配分发到不同的topic中；在spark的rdd中，通常为了提升任务的并发处理能力
逆风飞翔的小叔·2025-05-14 16:09

spark: 简单的自定义RDD分区器

一、定义分区器packageexampleimportorg.apache.spark.PartitionerclassMyPartitionerextendsPartitioner{overridedefnumPartitions
amadeus_liu2·2025-05-14 16:39

RDD自定义分区器

{Partitioner,SparkConf,SparkContext}//分区器决定哪一个元素进入某一个分区！
Dengyahui04·2025-05-14 16:08

RDD的自定义分区器

一、先创一个order.csv文件内容如下：1,99,备注1222,92,备注21101,99,备注1232,392,备注22110,99,备注1二、建一个scala的object类，代码如下importorg.apache.spark.{Partitioner,SparkConf,SparkContext}//创建一个类继承PartitionerclassOrderPartitionerexte
心仪悦悦·2025-05-14 15:37

Linux sysvinit 系统启动

Ramdisk加载rootfs分区数据内核引导已经没有ramdisk根文件系统挂载：内核调用ext4文件系统驱动，尝试将根设备挂载到/目录。具体挂载过程如下：内核定位根设备（如/dev/sda1）。
junwua·2025-05-14 10:03

自定义分区器案例

一、为什么需要自定义分区器在实际应用中，数据的分布可能并不均匀，或者某些特定的键值对需要更精细的控制。例如，你可能希望将某些特定的键值对分配到特定的分区，或者根据业务逻辑对数据进行分组。
刘翔在线犯法·2025-05-14 10:02

Kafka 解惑

使用多分区+多消费者方式可以极大提高数据下游
DuGuYiZhao·2025-05-14 06:11

uniapp开发1--实现复制文字的功能总结

在用uniapp进行日常开发的过程中，我们有时候需要复制文字，我查阅了多种方法，下面这种API方法是可行的，这里做一下记录：uniapp设置系统剪贴板的内容：uni.setClipboardData(OBJECT
上趣工作室·2025-05-14 05:31

20250512解决NanoPi NEO core开发板在Ubuntu core20.04系统更新boot.img后MMC Device 1174405120 not found Bad devic

【非常奇葩：不能使用eMMC启动的BOOT分区，要使用TF卡/SD卡启动的BOOT分区】rootroot@rootroot-X99-Turbo:~$rootroot@rootroot-X99-Turbo
南棱笑笑生·2025-05-14 02:13

服务器旧磁盘重做raid,重启后无法进入系统,进入dracut紧急救援模式

#结果重做raid,并没有删除磁盘分区信息,导致系统重启后,认到2个根目录,2个swap等,同时还报错无法找到UUid=....的设备信息.通过lvUUid,vguuid,pvuuid删除,都报错,无法删除掉
扫地生大鹏·2025-05-14 01:02

Spark(26)Spark处理过程-转换算子和行动算子

（一）RDD的处理过程【老师讲授，画图】Spark使用Scala语言实现了RDD的API,程序开发者可以通过调用API对RDD进行操作处理。
北随琛烬入·2025-05-13 18:51

【NLP高频面题 - 分布式训练篇】PS架构是如何进行梯度同步和更新的？

参数服务器模式示例：假设有一个可分为两个参数分区的模型，每个分区由一个参数服务器负责进行参数同步。在训练过程中，每个训练服务器都拥
青松ᵃⁱ·2025-05-13 17:42

GO语言内存管理结构

文章目录1、内存分区1.1、栈（Stack）1.2、堆（Heap）2、堆内存管理结构2.1、内存分配器（MCache→MArena→MSpan→MHeap）2.2、大小分类（SizeClass）2.3、
你怎么知道我是队长·2025-05-13 17:42

交换空间简介

一、交换空间的本质属性交换空间是磁盘上预留的专用存储区域，其存在形式可以是独立分区（SwapPartition）或文件（SwapFile）。根据RedHat官方文
leoufung·2025-05-13 15:27

GPU 分区工具GPUP：在Windows上简化GPU虚拟化的教程

GPU分区工具GPUP：在Windows上简化GPU虚拟化的教程gpupAcommandtouploadphotosandmoviestoGooglePhotosLibraryusingtheofficialGooglePhotosLibraryAPI
伏崴帅·2025-05-13 15:55

Kafka的入门及简单使用

1.Producer（生产者）2.Broker（代理/服务器）3.Consumer（消费者）4.ConsumerGroup（消费者组）5.Topic（主题）6.Partition（分区）7.Replication
Yoel.qin·2025-05-13 11:03

RDD算子-行动算子

//学习sparkRDD中的行动算子//1.collect:把发布在集群中的各个节点上的RDD元素收集，以数组的形式返回//2.c
枕上书446·2025-05-13 10:27

MapReduce之分区器(Partitioner)，这份333页关于性能优化知识点的PDF你不能不看

前言在学习Java基础的过程中，泛型绝对算得上是一个比较难理解的知识点，尤其对于初学者而言，而且就算是已经有基础的Java程序员，可能对泛型的理解也不是那么透彻，属于那种看了明白，时间长了就忘的那种，究其根本，还是对泛型不够理解。大部分人对泛型的认识：“基础知识，但是比较模糊”publicclassHashPartitionerimplementsPartitioner{publicvoidcon
代码可可西·2025-05-13 10:53

MapReduce中分区数与ReduceTask个数关系比较

在MapReduce中如果不设置ReduceTask个数时，默认为1；如果我们使用了自定义分区，那么同时也需要在主类中设置ReduceTask个数，此时要注意分区个数与ReduceTask个数之间的不同组合会产生以下不同结果
QYHuiiQ·2025-05-13 10:20

Spark 中RDD、Job，stage，task的关系

1.概念定义1.1Job1.2Stage1.3Task2.关系总结3.示例分析代码示例执行过程4.Spark中的运行流程5.关键点5.1宽依赖和窄依赖5.2并行度5.3性能优化**6.总结****1.RDD
大数据知识搬运工·2025-05-13 07:36

Linux Kernel入门到精通系列讲解（RV-U-boot 篇） 4.2 RISC-V从零移植自己的Uboot

1.概述上一章节我们已经成功从OpenSBI跳转到Uboot，并且已经把默认的qemu-riscv64_smode_defconfig移植成功了，本章节我们将会重新规划memory分区，方便后续创建更多的设备
嵌入式内核源码·2025-05-13 04:19

五、Hive表类型、分区及数据加载

在Hive中高效构建、管理和查询数据仓库，核心在于精准运用表类型（内部/外部）与分区策略（静态/动态/多重）。这不仅决定数据的生命周期归属，更是优化海量数据查询性能的关键手段。
IvanCodes·2025-05-13 04:13

oracle根据rowid更新很慢,利用rowid快速在线更新海量数据-批量更新

问题是这样的：一张5亿条记录的表，没有分区。由于增加了一个冗余字段，需要根据另外一张表(4.8亿条)更新这个大表。
weixin_39969568·2025-05-12 23:19

VBA将Word文档内容逐行写入Excel

如果你需要将Word文档的内容导入Excel工作表来进行数据加工，使用下面的代码可以实现：SubImportWordToExcel()DimwordAppAsWord.ApplicationDimwordDocAsWord.DocumentDimexcelSheetAsWorksheetDimfilePathAsVariantDimiAsLongDimparaAsWord.ParagraphDim
TOMaster.·2025-05-12 16:01

笔记本电脑验机教程

新电脑验机教程文章目录新电脑验机教程Step1:选对购买渠道Step2:检查包装、配置、使用痕迹Step3:开机设置Step4:检验分区、硬盘信息Step5:检测工具验机Step6:联网激活Step7:
烟花再美，不过·2025-05-12 15:20

Spark-Core（累加器）

valrdd=sparkContext.makeRDD(List(1,2,3,4,5))//声明累加器varsum=sparkContext.longAccumu
бесплатно·2025-05-12 14:12

互联网大厂Java面试指南：从基础到高阶技术栈与业务场景实战

G1特点：分区堆内存，优先回收垃圾最多的区域，适用于大内存、低延迟场景。常见误区：认为GC调优是万能的，忽略代码层面的内存优化。问题2：Java8中的Lambda表达式和S
yiiyx·2025-05-12 13:37

Spark-Core（双Value类型）

一、RDD转换算子（双Value类型）1、intersection函数签名：defintersection(other:RDD[T]):RDD[T]函数说明：对源RDD和参数RDD求交集后返回一个新的RDD
бесплатно·2025-05-12 13:36

电脑的“收纳术”！各种存储设备，帮你整理得明明白白～

1.硬盘驱动器(HDD-HardDiskDrive)工作原理：HDD内部有一个或多个高速旋转的磁盘（盘片），盘片表面涂有磁性材料。读写磁头悬浮在盘片上方，通过磁头的移动和磁性变化来读写数据。
心灵星图·2025-05-12 11:50

深入探究大数据领域 Hive 的数据存储机制

深入探究大数据领域Hive的数据存储机制关键词：Hive数据存储、HDFS集成、分区表、分桶表、存储格式、数据组织、性能优化摘要：本文深入剖析ApacheHive的数据存储机制，从底层架构到上层逻辑组织全面解析
大数据洞察·2025-05-12 10:44

18 | Word Count：从零开始运行你的第一个Spark应用

首先，我们由浅入深地学习了Spark的基本数据结构RDD，了解了它这样设计的原因，以及它所支持的API。
_Rye_·2025-05-12 09:10

Spark处理过程-行动算子

行动算子（Action）是一种触发RDD计算的操作。与转换算子（Transformation）不同，行动算子会返回一个结果给驱动程序（DriverProgram），或者将结果写入外部存储系统。
睎zyl·2025-05-12 09:37

kafka 集群服役新节点

前言在生产环境下，kafka集群中发现遇到了性能瓶颈，主要体现在现有的集群下，某个topic的分区存储不够用了，生产者生产消息量太大，或者消费端消费速度跟不上生产进度，导致分区数据大量堆积；在这种情况下
小码农叔叔·2025-05-12 06:19
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他