FAT分区

Android面试总结之Glide源码级理解

本文从阿里P8级缓存改造方案出发，结合Glide源码实现动态内存扩容、磁盘冷热分区、智能预加载等黑科技，彻底解决万级图片加载场景下的性能灾难一、Glide默认缓存架构的四大缺陷（源码级剖析）1.内存分配僵化
每次的天空·2025-05-15 11:18

Spark小文件合并

1.问题描述最近使用sparksql执行etl时候出现了，最终结果大小只有几百k，但是小文件一个分区有上千的情况。
weixin_lss·2025-05-15 06:15

Kafka、RabbitMQ、RocketMQ的区别

以下是RabbitMQ、RocketMQ、Kafka的核心区别对比：一、架构设计差异‌Kafka‌基于分布式日志的发布-订阅模型，通过分区（Partition）实现水平扩展，依赖ZooKeeper管理集群消费者通过消费者组
MYBOYER·2025-05-15 02:22

运行Spark程序-在shell中运行1

【老师总结】分布式计算需要做到：1.分区控制。把大的数据拆成一小份一小份的（分区，分片）让多台设备同时计算，所以要分区。2.Shuffle控制。
满分对我强制爱·2025-05-15 01:17

Ubuntu打不开机，自动进入emergency mode解决方法

（输入密码时无显示）进入命令行界面后，输入：nano/etc/fatab在最后一行
SHUIZAIHUWO·2025-05-15 00:33

RDD-自定义分区器

定义自定义分区器：继承org.apache.spark.Partitioner类。实现分区逻辑：重写numPartitions和getPartition方法。使用自定义分区器对RDD进行分区。
富能量爆棚·2025-05-14 23:30

分区器和序列化

四）按照需求开始自定义分区器回顾我们的需求，我们在做词频统计的时候，把a-m开头的保存在一个文件中，n-z开头的保存在另一个文件中。此时，我们就需要使用自定义分区了。具体的流程是：定义一个分区类。
七七-d·2025-05-14 19:58

键值对RDD数据自定义分区_大数据培训

自定义分区要实现自定义的分区器，你需要继承org.apache.spark.Partitioner类并实现下面三个方法。（1）numPartitions:Int:返回创建出来的分区数。
尚硅谷铁粉·2025-05-14 16:15

详解 Spark 核心编程之 RDD 分区器

一、RDD分区器简介Spark分区器的父类是Partitioner抽象类分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle后进入哪个分区，进而决定了Reduce的个数只有Key-Value
文刀小桂·2025-05-14 16:14

RDD：分区器

目录RDD分区器哈希分区器范围分区器自定义分区(Partitioner)RDD分区器分区器（Partitioner）在前面章节中或多或少有所提及。
花和尚也有春天·2025-05-14 16:14

RDD自定义分区方法(按班级把同一个班级的学生放到一个文件中)和自定义排序方法（先按数学成绩排序，数学成绩相同再按语文成绩排序）

自定义排序例题：先按照数学成绩进行倒叙排序如果数学成绩相同语文成绩谁高谁在前tom9866jack5555bob9844joe4499max6079peter6055jerry6099kay9999kim9899代码实现带*****号表示是关键词objectZ_StorextendsApp{valconf=newSparkConf().setAppName("sort").setMaster("l
struggle@徐磊·2025-05-14 16:41

git push error HTTP code = 413

passion_wu128/article/details/8216086中搭建的gitlab服务器提交的时候总是出现如下错误:error:RPCfailed;result=22,HTTPcode=413fatal
passion_wu128·2025-05-14 16:10

Spark RDD 自定义分区器

前言在很多中间件中，例如kafka，有这么一种机制，可以将指定规则的数据发送到特定的分区，再比如rabbitmq，可以根据key的后缀进行匹配分发到不同的topic中；在spark的rdd中，通常为了提升任务的并发处理能力
逆风飞翔的小叔·2025-05-14 16:09

spark: 简单的自定义RDD分区器

一、定义分区器packageexampleimportorg.apache.spark.PartitionerclassMyPartitionerextendsPartitioner{overridedefnumPartitions
amadeus_liu2·2025-05-14 16:39

RDD自定义分区器

{Partitioner,SparkConf,SparkContext}//分区器决定哪一个元素进入某一个分区！
Dengyahui04·2025-05-14 16:08

RDD的自定义分区器

一、先创一个order.csv文件内容如下：1,99,备注1222,92,备注21101,99,备注1232,392,备注22110,99,备注1二、建一个scala的object类，代码如下importorg.apache.spark.{Partitioner,SparkConf,SparkContext}//创建一个类继承PartitionerclassOrderPartitionerexte
心仪悦悦·2025-05-14 15:37

Linux sysvinit 系统启动

Ramdisk加载rootfs分区数据内核引导已经没有ramdisk根文件系统挂载：内核调用ext4文件系统驱动，尝试将根设备挂载到/目录。具体挂载过程如下：内核定位根设备（如/dev/sda1）。
junwua·2025-05-14 10:03

自定义分区器案例

一、为什么需要自定义分区器在实际应用中，数据的分布可能并不均匀，或者某些特定的键值对需要更精细的控制。例如，你可能希望将某些特定的键值对分配到特定的分区，或者根据业务逻辑对数据进行分组。
刘翔在线犯法·2025-05-14 10:02

Kafka 解惑

使用多分区+多消费者方式可以极大提高数据下游
DuGuYiZhao·2025-05-14 06:11

《ffplay 读线程与解码线程分析：从初始化到 seek 操作，对比视频与音频解码的差异》

ic){av_log(NULL,AV_LOG_FATAL,"Couldnotallocatecontext.
邪恶的贝利亚·2025-05-14 05:30

【异常】Linux中执行Git clone 提示error: RPC failed； result=35, HTTP code = 0

gitclonehttps://github.com/milvus-io/milvus.gitCloninginto'milvus'...error:RPCfailed;result=35,HTTPcode=0fatal
本本本添哥·2025-05-14 04:55

20250512解决NanoPi NEO core开发板在Ubuntu core20.04系统更新boot.img后MMC Device 1174405120 not found Bad devic

【非常奇葩：不能使用eMMC启动的BOOT分区，要使用TF卡/SD卡启动的BOOT分区】rootroot@rootroot-X99-Turbo:~$rootroot@rootroot-X99-Turbo
南棱笑笑生·2025-05-14 02:13

服务器旧磁盘重做raid,重启后无法进入系统,进入dracut紧急救援模式

#结果重做raid,并没有删除磁盘分区信息,导致系统重启后,认到2个根目录,2个swap等,同时还报错无法找到UUid=....的设备信息.通过lvUUid,vguuid,pvuuid删除,都报错,无法删除掉
扫地生大鹏·2025-05-14 01:02

【NLP高频面题 - 分布式训练篇】PS架构是如何进行梯度同步和更新的？

参数服务器模式示例：假设有一个可分为两个参数分区的模型，每个分区由一个参数服务器负责进行参数同步。在训练过程中，每个训练服务器都拥
青松ᵃⁱ·2025-05-13 17:42

GO语言内存管理结构

文章目录1、内存分区1.1、栈（Stack）1.2、堆（Heap）2、堆内存管理结构2.1、内存分配器（MCache→MArena→MSpan→MHeap）2.2、大小分类（SizeClass）2.3、
你怎么知道我是队长·2025-05-13 17:42

运行pip时报错：Fatal error in launcher: Unable to create process using ‘“‘

在使用pip安装python的第三方库时出现错误，运行pip--version验证时报错Fatalerrorinlauncher:Unabletocreateprocessusing'"'；但是在运行命令
m0_64782813·2025-05-13 17:38

交换空间简介

一、交换空间的本质属性交换空间是磁盘上预留的专用存储区域，其存在形式可以是独立分区（SwapPartition）或文件（SwapFile）。根据RedHat官方文
leoufung·2025-05-13 15:27

GPU 分区工具GPUP：在Windows上简化GPU虚拟化的教程

GPU分区工具GPUP：在Windows上简化GPU虚拟化的教程gpupAcommandtouploadphotosandmoviestoGooglePhotosLibraryusingtheofficialGooglePhotosLibraryAPI
伏崴帅·2025-05-13 15:55

Kafka的入门及简单使用

1.Producer（生产者）2.Broker（代理/服务器）3.Consumer（消费者）4.ConsumerGroup（消费者组）5.Topic（主题）6.Partition（分区）7.Replication
Yoel.qin·2025-05-13 11:03

MapReduce之分区器(Partitioner)，这份333页关于性能优化知识点的PDF你不能不看

前言在学习Java基础的过程中，泛型绝对算得上是一个比较难理解的知识点，尤其对于初学者而言，而且就算是已经有基础的Java程序员，可能对泛型的理解也不是那么透彻，属于那种看了明白，时间长了就忘的那种，究其根本，还是对泛型不够理解。大部分人对泛型的认识：“基础知识，但是比较模糊”publicclassHashPartitionerimplementsPartitioner{publicvoidcon
代码可可西·2025-05-13 10:53

MapReduce中分区数与ReduceTask个数关系比较

在MapReduce中如果不设置ReduceTask个数时，默认为1；如果我们使用了自定义分区，那么同时也需要在主类中设置ReduceTask个数，此时要注意分区个数与ReduceTask个数之间的不同组合会产生以下不同结果
QYHuiiQ·2025-05-13 10:20

log4j

每条日志语句都要设置一个等级(DEBUG、INFO、WARN、ERROR和FATAL)。其中DEBUGlog4jlog4j1.2.17
xq514863·2025-05-13 09:45

Git | SSH 密钥连接到 GitHub

如是我闻：在新电脑上想推送分支，结果遇到了这个错误[email protected]:Permissiondenied(publickey).fatal:Couldnotreadfromremoterepository.Pleasemakesureyouhavethecorrectaccessrightsandtherepositoryexists
漂亮_大男孩·2025-05-13 08:11

Linux Kernel入门到精通系列讲解（RV-U-boot 篇） 4.2 RISC-V从零移植自己的Uboot

1.概述上一章节我们已经成功从OpenSBI跳转到Uboot，并且已经把默认的qemu-riscv64_smode_defconfig移植成功了，本章节我们将会重新规划memory分区，方便后续创建更多的设备
嵌入式内核源码·2025-05-13 04:19

五、Hive表类型、分区及数据加载

在Hive中高效构建、管理和查询数据仓库，核心在于精准运用表类型（内部/外部）与分区策略（静态/动态/多重）。这不仅决定数据的生命周期归属，更是优化海量数据查询性能的关键手段。
IvanCodes·2025-05-13 04:13

oracle根据rowid更新很慢,利用rowid快速在线更新海量数据-批量更新

问题是这样的：一张5亿条记录的表，没有分区。由于增加了一个冗余字段，需要根据另外一张表(4.8亿条)更新这个大表。
weixin_39969568·2025-05-12 23:19

【C++】C++通过Python C API调用Python代码

**运行时错误：`FatalPythonerror:initfsenc
晴雨日记·2025-05-12 22:42

笔记本电脑验机教程

新电脑验机教程文章目录新电脑验机教程Step1:选对购买渠道Step2:检查包装、配置、使用痕迹Step3:开机设置Step4:检验分区、硬盘信息Step5:检测工具验机Step6:联网激活Step7:
烟花再美，不过·2025-05-12 15:20

互联网大厂Java面试指南：从基础到高阶技术栈与业务场景实战

G1特点：分区堆内存，优先回收垃圾最多的区域，适用于大内存、低延迟场景。常见误区：认为GC调优是万能的，忽略代码层面的内存优化。问题2：Java8中的Lambda表达式和S
yiiyx·2025-05-12 13:37

深入探究大数据领域 Hive 的数据存储机制

深入探究大数据领域Hive的数据存储机制关键词：Hive数据存储、HDFS集成、分区表、分桶表、存储格式、数据组织、性能优化摘要：本文深入剖析ApacheHive的数据存储机制，从底层架构到上层逻辑组织全面解析
大数据洞察·2025-05-12 10:44

day11-Linux系统inode及链接知识及企业按哪里精讲

256字节存储文件的属性信息（大小、用户、时间等），还有指针：指向实际文件内容的地址Linux常见的文件系统：ext4，xfsWindows常见的文件系统：ntfs，fat32创建文件系统时就会生成inode
孙克旭‌·2025-05-12 07:53

kafka 集群服役新节点

前言在生产环境下，kafka集群中发现遇到了性能瓶颈，主要体现在现有的集群下，某个topic的分区存储不够用了，生产者生产消息量太大，或者消费端消费速度跟不上生产进度，导致分区数据大量堆积；在这种情况下
小码农叔叔·2025-05-12 06:19

Kafka系列之：kafka集群broker节点变化重新分配分区和修改副本数

Kafka系列之：kafka集群broker节点变化重新分配分区和修改副本数一、分区重分配场景二、分区重分配方法三、分区重分配示例四、分区重分配原理五、优先副本的选举六、优先副本的实现七、复制限流八、修改副本数一
快乐骑行^_^·2025-05-12 06:19

【西电9031考研复试】操作系统-学习笔记

学习笔记操作系统概念与功能特征发展与分类运行机制中断系统调用体系结构操作系统结构虚拟机进程与线程PCB进程的状态与转换进程控制进程通信线程线程的实现方式进程的转换进程调度调度算法进程互斥死锁的解除预防死锁内存管理内存保护覆盖与交换动态分区分配分页存储管理基本地址变换机构快表基本分段存储管理方式内存映射文件文件管理文件逻辑结构文件目录文件分配方式连续分配链接分配索引分配文件存储空间管理文
chaser&upper·2025-05-12 03:27

RDD的几种创建方式

它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上(分区即partition)，从而让RDD中的数据可以被并行操作。
itcats_cn·2025-05-12 01:48

什么是RDD，有哪几种创建方式

它代表一个不可变、可分区、元素可并行操作的分布式数据集。
吃个桃桃，好凉凉·2025-05-12 01:47

RDD转换算子

除了前面提到的常见RDD转换算子，还有一些其他的转换算子，以下是部分算子的介绍：mapPartitions与map类似，但它是对RDD的每个分区进行操作，传入的函数接收一个分区的迭代器，返回一个新的迭代器
晴空下小雨.·2025-05-12 01:46

【RT-Thread Studio】nor flash配置Fal分区

前置条件：【RT-ThreadStudio】W25Q128配置添加FAL软件包配置SFUD驱动程序，使用FAL的设备为W25Q128将fal_cfg.h和fal_flash_sfud_port.c提取出来，放到自己创建的fal_porting目录。修改fal_flash_sfud_port.cstructfal_flash_devnor_flash0={.name=FAL_USING_NOR_FL
橘长_·2025-05-11 21:18

磁盘分区--fdisk/gdisk

fdisk分区1、列出磁盘分区情况fdisk-l列出所有fdisk-l/dev/sdb列出某一块磁盘[root@docker~]#fdisk-l/dev/sdb磁盘/dev/sdb：10.7GB,10737418240
脾气不大·2025-05-11 20:18

分区使用gdisk还是fdisk

gdisk主要针对GPT（大于2T会使用GPT）分区fdisk主要针对MBR(小于2T会使用MBR)分区
lliolvye·2025-05-11 20:17
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他