分区

在sheel中运行Spark ——RDD

一）RDD基本概念ResilientDistributedDataset叫做弹性分布式数据集，是Spark中最基本的数据抽象，是分布式计算的实现载体，代表一个不可变，可分区，里面的元素并行计算的集合。
羽球知道·2025-05-15 23:13

Android面试总结之Glide源码级理解

本文从阿里P8级缓存改造方案出发，结合Glide源码实现动态内存扩容、磁盘冷热分区、智能预加载等黑科技，彻底解决万级图片加载场景下的性能灾难一、Glide默认缓存架构的四大缺陷（源码级剖析）1.内存分配僵化
每次的天空·2025-05-15 11:18

Spark小文件合并

1.问题描述最近使用sparksql执行etl时候出现了，最终结果大小只有几百k，但是小文件一个分区有上千的情况。
weixin_lss·2025-05-15 06:15

Kafka、RabbitMQ、RocketMQ的区别

以下是RabbitMQ、RocketMQ、Kafka的核心区别对比：一、架构设计差异‌Kafka‌基于分布式日志的发布-订阅模型，通过分区（Partition）实现水平扩展，依赖ZooKeeper管理集群消费者通过消费者组
MYBOYER·2025-05-15 02:22

运行Spark程序-在shell中运行1

【老师总结】分布式计算需要做到：1.分区控制。把大的数据拆成一小份一小份的（分区，分片）让多台设备同时计算，所以要分区。2.Shuffle控制。
满分对我强制爱·2025-05-15 01:17

RDD-自定义分区器

定义自定义分区器：继承org.apache.spark.Partitioner类。实现分区逻辑：重写numPartitions和getPartition方法。使用自定义分区器对RDD进行分区。
富能量爆棚·2025-05-14 23:30

分区器和序列化

四）按照需求开始自定义分区器回顾我们的需求，我们在做词频统计的时候，把a-m开头的保存在一个文件中，n-z开头的保存在另一个文件中。此时，我们就需要使用自定义分区了。具体的流程是：定义一个分区类。
七七-d·2025-05-14 19:58

键值对RDD数据自定义分区_大数据培训

自定义分区要实现自定义的分区器，你需要继承org.apache.spark.Partitioner类并实现下面三个方法。（1）numPartitions:Int:返回创建出来的分区数。
尚硅谷铁粉·2025-05-14 16:15

详解 Spark 核心编程之 RDD 分区器

一、RDD分区器简介Spark分区器的父类是Partitioner抽象类分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle后进入哪个分区，进而决定了Reduce的个数只有Key-Value
文刀小桂·2025-05-14 16:14

RDD：分区器

目录RDD分区器哈希分区器范围分区器自定义分区(Partitioner)RDD分区器分区器（Partitioner）在前面章节中或多或少有所提及。
花和尚也有春天·2025-05-14 16:14

RDD自定义分区方法(按班级把同一个班级的学生放到一个文件中)和自定义排序方法（先按数学成绩排序，数学成绩相同再按语文成绩排序）

自定义排序例题：先按照数学成绩进行倒叙排序如果数学成绩相同语文成绩谁高谁在前tom9866jack5555bob9844joe4499max6079peter6055jerry6099kay9999kim9899代码实现带*****号表示是关键词objectZ_StorextendsApp{valconf=newSparkConf().setAppName("sort").setMaster("l
struggle@徐磊·2025-05-14 16:41

Spark RDD 自定义分区器

前言在很多中间件中，例如kafka，有这么一种机制，可以将指定规则的数据发送到特定的分区，再比如rabbitmq，可以根据key的后缀进行匹配分发到不同的topic中；在spark的rdd中，通常为了提升任务的并发处理能力
逆风飞翔的小叔·2025-05-14 16:09

spark: 简单的自定义RDD分区器

一、定义分区器packageexampleimportorg.apache.spark.PartitionerclassMyPartitionerextendsPartitioner{overridedefnumPartitions
amadeus_liu2·2025-05-14 16:39

RDD自定义分区器

{Partitioner,SparkConf,SparkContext}//分区器决定哪一个元素进入某一个分区！
Dengyahui04·2025-05-14 16:08

RDD的自定义分区器

一、先创一个order.csv文件内容如下：1,99,备注1222,92,备注21101,99,备注1232,392,备注22110,99,备注1二、建一个scala的object类，代码如下importorg.apache.spark.{Partitioner,SparkConf,SparkContext}//创建一个类继承PartitionerclassOrderPartitionerexte
心仪悦悦·2025-05-14 15:37

Linux sysvinit 系统启动

Ramdisk加载rootfs分区数据内核引导已经没有ramdisk根文件系统挂载：内核调用ext4文件系统驱动，尝试将根设备挂载到/目录。具体挂载过程如下：内核定位根设备（如/dev/sda1）。
junwua·2025-05-14 10:03

自定义分区器案例

一、为什么需要自定义分区器在实际应用中，数据的分布可能并不均匀，或者某些特定的键值对需要更精细的控制。例如，你可能希望将某些特定的键值对分配到特定的分区，或者根据业务逻辑对数据进行分组。
刘翔在线犯法·2025-05-14 10:02

Kafka 解惑

使用多分区+多消费者方式可以极大提高数据下游
DuGuYiZhao·2025-05-14 06:11

20250512解决NanoPi NEO core开发板在Ubuntu core20.04系统更新boot.img后MMC Device 1174405120 not found Bad devic

【非常奇葩：不能使用eMMC启动的BOOT分区，要使用TF卡/SD卡启动的BOOT分区】rootroot@rootroot-X99-Turbo:~$rootroot@rootroot-X99-Turbo
南棱笑笑生·2025-05-14 02:13

服务器旧磁盘重做raid,重启后无法进入系统,进入dracut紧急救援模式

#结果重做raid,并没有删除磁盘分区信息,导致系统重启后,认到2个根目录,2个swap等,同时还报错无法找到UUid=....的设备信息.通过lvUUid,vguuid,pvuuid删除,都报错,无法删除掉
扫地生大鹏·2025-05-14 01:02

【NLP高频面题 - 分布式训练篇】PS架构是如何进行梯度同步和更新的？

参数服务器模式示例：假设有一个可分为两个参数分区的模型，每个分区由一个参数服务器负责进行参数同步。在训练过程中，每个训练服务器都拥
青松ᵃⁱ·2025-05-13 17:42

GO语言内存管理结构

文章目录1、内存分区1.1、栈（Stack）1.2、堆（Heap）2、堆内存管理结构2.1、内存分配器（MCache→MArena→MSpan→MHeap）2.2、大小分类（SizeClass）2.3、
你怎么知道我是队长·2025-05-13 17:42

交换空间简介

一、交换空间的本质属性交换空间是磁盘上预留的专用存储区域，其存在形式可以是独立分区（SwapPartition）或文件（SwapFile）。根据RedHat官方文
leoufung·2025-05-13 15:27

GPU 分区工具GPUP：在Windows上简化GPU虚拟化的教程

GPU分区工具GPUP：在Windows上简化GPU虚拟化的教程gpupAcommandtouploadphotosandmoviestoGooglePhotosLibraryusingtheofficialGooglePhotosLibraryAPI
伏崴帅·2025-05-13 15:55

Kafka的入门及简单使用

1.Producer（生产者）2.Broker（代理/服务器）3.Consumer（消费者）4.ConsumerGroup（消费者组）5.Topic（主题）6.Partition（分区）7.Replication
Yoel.qin·2025-05-13 11:03

MapReduce之分区器(Partitioner)，这份333页关于性能优化知识点的PDF你不能不看

前言在学习Java基础的过程中，泛型绝对算得上是一个比较难理解的知识点，尤其对于初学者而言，而且就算是已经有基础的Java程序员，可能对泛型的理解也不是那么透彻，属于那种看了明白，时间长了就忘的那种，究其根本，还是对泛型不够理解。大部分人对泛型的认识：“基础知识，但是比较模糊”publicclassHashPartitionerimplementsPartitioner{publicvoidcon
代码可可西·2025-05-13 10:53

MapReduce中分区数与ReduceTask个数关系比较

在MapReduce中如果不设置ReduceTask个数时，默认为1；如果我们使用了自定义分区，那么同时也需要在主类中设置ReduceTask个数，此时要注意分区个数与ReduceTask个数之间的不同组合会产生以下不同结果
QYHuiiQ·2025-05-13 10:20

Linux Kernel入门到精通系列讲解（RV-U-boot 篇） 4.2 RISC-V从零移植自己的Uboot

1.概述上一章节我们已经成功从OpenSBI跳转到Uboot，并且已经把默认的qemu-riscv64_smode_defconfig移植成功了，本章节我们将会重新规划memory分区，方便后续创建更多的设备
嵌入式内核源码·2025-05-13 04:19

五、Hive表类型、分区及数据加载

在Hive中高效构建、管理和查询数据仓库，核心在于精准运用表类型（内部/外部）与分区策略（静态/动态/多重）。这不仅决定数据的生命周期归属，更是优化海量数据查询性能的关键手段。
IvanCodes·2025-05-13 04:13

oracle根据rowid更新很慢,利用rowid快速在线更新海量数据-批量更新

问题是这样的：一张5亿条记录的表，没有分区。由于增加了一个冗余字段，需要根据另外一张表(4.8亿条)更新这个大表。
weixin_39969568·2025-05-12 23:19

笔记本电脑验机教程

新电脑验机教程文章目录新电脑验机教程Step1:选对购买渠道Step2:检查包装、配置、使用痕迹Step3:开机设置Step4:检验分区、硬盘信息Step5:检测工具验机Step6:联网激活Step7:
烟花再美，不过·2025-05-12 15:20

互联网大厂Java面试指南：从基础到高阶技术栈与业务场景实战

G1特点：分区堆内存，优先回收垃圾最多的区域，适用于大内存、低延迟场景。常见误区：认为GC调优是万能的，忽略代码层面的内存优化。问题2：Java8中的Lambda表达式和S
yiiyx·2025-05-12 13:37

深入探究大数据领域 Hive 的数据存储机制

深入探究大数据领域Hive的数据存储机制关键词：Hive数据存储、HDFS集成、分区表、分桶表、存储格式、数据组织、性能优化摘要：本文深入剖析ApacheHive的数据存储机制，从底层架构到上层逻辑组织全面解析
大数据洞察·2025-05-12 10:44

kafka 集群服役新节点

前言在生产环境下，kafka集群中发现遇到了性能瓶颈，主要体现在现有的集群下，某个topic的分区存储不够用了，生产者生产消息量太大，或者消费端消费速度跟不上生产进度，导致分区数据大量堆积；在这种情况下
小码农叔叔·2025-05-12 06:19

Kafka系列之：kafka集群broker节点变化重新分配分区和修改副本数

Kafka系列之：kafka集群broker节点变化重新分配分区和修改副本数一、分区重分配场景二、分区重分配方法三、分区重分配示例四、分区重分配原理五、优先副本的选举六、优先副本的实现七、复制限流八、修改副本数一
快乐骑行^_^·2025-05-12 06:19

【西电9031考研复试】操作系统-学习笔记

学习笔记操作系统概念与功能特征发展与分类运行机制中断系统调用体系结构操作系统结构虚拟机进程与线程PCB进程的状态与转换进程控制进程通信线程线程的实现方式进程的转换进程调度调度算法进程互斥死锁的解除预防死锁内存管理内存保护覆盖与交换动态分区分配分页存储管理基本地址变换机构快表基本分段存储管理方式内存映射文件文件管理文件逻辑结构文件目录文件分配方式连续分配链接分配索引分配文件存储空间管理文
chaser&upper·2025-05-12 03:27

RDD的几种创建方式

它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上(分区即partition)，从而让RDD中的数据可以被并行操作。
itcats_cn·2025-05-12 01:48

什么是RDD，有哪几种创建方式

它代表一个不可变、可分区、元素可并行操作的分布式数据集。
吃个桃桃，好凉凉·2025-05-12 01:47

RDD转换算子

除了前面提到的常见RDD转换算子，还有一些其他的转换算子，以下是部分算子的介绍：mapPartitions与map类似，但它是对RDD的每个分区进行操作，传入的函数接收一个分区的迭代器，返回一个新的迭代器
晴空下小雨.·2025-05-12 01:46

【RT-Thread Studio】nor flash配置Fal分区

前置条件：【RT-ThreadStudio】W25Q128配置添加FAL软件包配置SFUD驱动程序，使用FAL的设备为W25Q128将fal_cfg.h和fal_flash_sfud_port.c提取出来，放到自己创建的fal_porting目录。修改fal_flash_sfud_port.cstructfal_flash_devnor_flash0={.name=FAL_USING_NOR_FL
橘长_·2025-05-11 21:18

磁盘分区--fdisk/gdisk

fdisk分区1、列出磁盘分区情况fdisk-l列出所有fdisk-l/dev/sdb列出某一块磁盘[root@docker~]#fdisk-l/dev/sdb磁盘/dev/sdb：10.7GB,10737418240
脾气不大·2025-05-11 20:18

分区使用gdisk还是fdisk

gdisk主要针对GPT（大于2T会使用GPT）分区fdisk主要针对MBR(小于2T会使用MBR)分区
lliolvye·2025-05-11 20:17

分区工具fdisk和gdisk

fdisk命令gdisk命令1.MBR分区表请使用fdisk分区，GPT分区表请使用gdisk分区语法格式：fdisk[参数]常用参数p分区列表t更改分区类型n创建新分区d删除分区v校验分区u转换单位w
菜菜kai·2025-05-11 20:16

Linux基础篇、第四章_02磁盘及分区管理fdisk 和 gdisk

题目：Linux磁盘及分区管理版本号:1.0,0作者:@老王要学习日期:2025.04.25适用环境:Centos7文档说明本教程适用于Centos7环境，详细介绍Linux磁盘及分区管理操作。
Lw老王要学习·2025-05-11 20:14

自定义分区器

在Spark里，弹性分布式数据集（RDD）是核心的数据抽象，它是不可变的、可分区的、里面的元素并行计算的集合。
End928·2025-05-11 17:53

202536 ｜ KafKa生产者分区写入策略+消费者分区分配策略

KafKa生产者分区写入策略1.轮询分区策略（Round-RobinPartitioning）轮询分区策略是Kafka默认的分配策略，当消息没有指定key时，Kafka会采用轮询的方式将消息均匀地分配到各个分区
言小乔.·2025-05-11 13:00

【linux】-sd卡格式化分区

当前SD卡的分区状态：/dev/sdb1:50MBFAT32(将用于boot)/dev/sdb2:70.3MBext4(将用于rootfs)接下来你需要做的操作：格式化分区：bashsudomkfs.vfat-F32
追心嵌入式·2025-05-11 12:28

Hive优化(2)——join优化

优化HiveJOIN操作可以通过数据预处理、分区、数据倾斜处理、合适的JOIN类型选择、调整并行度和资源配置以及使用索引等方法来提高查询性能和执行效率。根据实际情况选择合适的优化策略，可以有效地提
麦当当MDD·2025-05-11 11:48

202535｜ Kafka架构与重要概念+幂等性+事务

一、Kafka架构图（Mermaid格式）Topic分区发送消息存储消息发送消息存储消息存储消息
言小乔.·2025-05-11 09:38

mysql与es数据一致性_ElasticSearch 如何保证数据一致性,实时性

分布式系统不可能同时满足一致性(C：Consistency)、可用性(A：Availability)和分区容忍性(P：Part
艾卜娜·加沙伊·2025-05-11 08:31
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他