spark-分区

spark介绍与编程

代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。
zzh-·2025-04-11 13:46

【无标题】spark core编程

partitionBy将数据按照指定Partitioner重新进行分区。
zzh-·2025-04-11 13:46

分享如何0基础学习linux第十一天：逻辑卷lvm

逻辑卷LVM--（LogLVM管理icalVolumeManager（逻辑卷管理）的简写）LVM管理lvm概念：LVM是Linux环境中对磁盘分区进行管理的一种机制，是建立在硬盘和分区之上、文件系统之下的一个逻辑层
扮演小鬼·2025-04-11 12:05

LVM磁盘扩容

LVM磁盘扩容一、基本概念熟悉二、LVM扩容1.记录扩容前磁盘使用情况2.虚拟机添加磁盘3.添加磁盘后检查4.将新硬盘分区初始化5.将初始化后的分区添加到VG中5.将VG分配给lv6.扩展文件系统一、基本概念熟悉
woooooon·2025-04-11 11:35

kafka生产者partition数量和消费者数量的关系

在Kafka中，生产者的分区（Partition）数量和消费者数量之间存在着密切的关系，这种关系对Kafka集群的性能、数据处理的并行性以及负载均衡等方面都有着重要影响，以下为你详细介绍：核心原则Kafka
会探索的小学生·2025-04-11 09:18

大数据（7.1）Kafka实时数据采集与分发的企业级实践：从架构设计到性能调优

目录一、实时数据洪流下的技术突围1.1行业需求演进曲线1.2传统方案的技术瓶颈二、Kafka实时架构设计精要2.1生产者核心参数矩阵2.1.1分区策略选择指南2.2消费者组智能负载均衡三、实时数据管道实战案例
一个天蝎座 白勺 程序猿·2025-04-11 08:44

大数据（7.2）Kafka万亿级数据洪流下的架构优化实战：从参数调优到集群治理

目录一、海量数据场景下的性能之殇1.1互联网企业的数据增长曲线1.2典型性能瓶颈分析二、生产者端极致优化2.1批量发送黄金法则2.1.1分区选择算法对比2.2序列化性能突破三、消费者端并发艺术3.1多线程消费模式演进
一个天蝎座 白勺 程序猿·2025-04-11 08:39

硬盘分区格式之GPT（GUID Partition Table）笔记250407

硬盘分区格式之GPT（GUIDPartitionTable）笔记250407GPT（GUIDPartitionTable）硬盘分区格式详解GPT（GUIDPartitionTable）是替代传统MBR的现代分区方案
kfepiza·2025-04-11 07:34

Ubuntu 启动引导如何修复（直接进入grub怎么办）

ls这将会列出一系列的分区，如(h0,p0)(h1,p0)(h1,p1)即：第1块硬盘，第1个分区第2个硬盘，第1个分区第2个硬盘，第2个分区通
‍。。。·2025-04-11 06:30

Oracle OCP知识点详解1：OEL 系统环境的安装部署

OEL系统安装核心要求1.1硬件与存储规范组件最低要求推荐配置特殊说明CPUx86_64双核4核以上需支持SSE4.2指令集内存4GB16GB大页内存需预分配磁盘50GB500GB+RAID10ASM需未分区裸盘网络
噗老师·2025-04-11 05:52

RK3568实战项目(一)--分区讲解及编译流程

目录一、引言二、资料整理三、上手板子四、固件结构及编译流程------>4.1、固件结构------------>软件包------------>linux系统分区架构------------>隐藏分区
文艺小少年·2025-04-11 02:07

《凤凰架构》读书笔记

调用远程方法遇到的问题，比如，远程的服务在哪里(服务发现)，有多少个(负载均衡)，网络出现分区、超
乐之者v·2025-04-11 00:56

「GPT」- GUID Partition Table @20210413

MasterBootRecord）「计算机」-原码、反码、补码（学习笔记）「BIOS」-基本输入输出系统「MemoryMap(x86)」参考文献Wikipedia/GUIDPartitionTable百度百科/GPTGUID分区表简介
k4nzdroid·2025-04-10 13:40

从Mac的GUID分区谈起

名词解释：MBR：MasterBootRecordGUID：GloballyUniqueIdentifierGPT：GloballyUniqueIdentifierpartitionTableBIOS:BasicInputOutputSystemUEFI：UnifiedExtensibleFirmwareInterfaceEBR：ExtenedBootRecordDPT：DiskPartition
Mechonly·2025-04-10 12:08

linux环境下的硬盘分区格式化工具介绍 fdisk,gdisk,parted,cfdisk,cgdisk,sfdisk,gparted 笔记250407

linux环境下的硬盘分区格式化工具介绍fdisk,gdisk,parted,cfdisk,cgdisk,sfdisk,gparted笔记250407以下是Linux系统中常用的硬盘分区与格式化工具，涵盖命令行和图形界面工具
kfepiza·2025-04-10 12:08

硬盘分区格式之GPT（GUID Partition Table）笔记250406

硬盘分区格式之GPT（GUIDPartitionTable）笔记250406GPT（GUIDPartitionTable）硬盘分区格式详解GPT（GUIDPartitionTable）是替代传统MBR的现代分区方案
kfepiza·2025-04-10 12:36

Spark Core编程

mapPartitions则是以分区为单位处理数据，相比map是批处理操作，性能更高，但可能占用较多内存。flatMap不仅能映射，还会把数据扁平化，处理
不要天天开心·2025-04-10 12:05

mmo 技术评估

服务器系统整体是基本游戏什么样的分区模式、前后台通讯类型、连接类型进行研发的？
yy405145590·2025-04-10 09:44

香港VPS服务器如何优化CPU和内存使用率？

##一、系统级优化###1.内核参数调优**调整swappiness值**（减少交换分区使用）：```bashecho'vm.swappiness=10'>>/etc/sysctl.confsysctl-p
网硕互联的小客服·2025-04-10 02:00

为PXIe控制器配置NI Linux实时操作系统安装软件

二、在主机上安装软件您需要在主机上安装软件才能创建USB分区
Ａｂｃdsa·2025-04-09 19:08

openEuler部署kubernetes保姆级教程

集群机器需要满足以下几个条件：•一台或多台机器，操作系统欧拉系统•硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多•集群中所有机器之间网络互通•可以访问外网，需要拉取镜像•禁止swap分区
钟小言·2025-04-09 15:15

理解 Calvin 的架构设计与工作原理

Calvin设计目标与核心机制简介Calvin是一个针对分区式数据库系统设计的分布式transaction调度与复制层，其目标是在保证线性可扩展性和高可用性的同时提供完整的ACIDtransaction
·2025-04-09 13:33

Kafka基础知识

Kafka是一个分布式的流处理平台，具有以下特点：高吞吐量可持久化分布式可扩展高可靠性1.2基本概念Topic：消息主题，消息以主题为单位进行归类Partition：分区，一个主题可以有多个分区Broker
爱编程的王小美·2025-04-09 12:58

零基础教程：Windows电脑安装Linux系统（双系统/虚拟机）全攻略

一、安装方式选择方案对比表特性双系统安装虚拟机安装性能原生硬件性能依赖宿主机资源分配磁盘空间需要独立分区（建议50GB+）动态分配（默认20GB起）内存占用独占全部内存需手动分配（建议4GB+）启动方式开机选择系统随宿主系统启动适用场景长期使用
小小鸭程序员·2025-04-09 12:28

Kafka原理详细介绍

Kafka  Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景
_Romeo·2025-04-09 12:24

kafka存储原理

topic分着存储在broker的分区中，分区进一步分为segment。日志目录中的每一组文件都代表一个段。段文件名中的后缀表示该段的基本偏移量。log.segment.bytes表示分段的最大大小。
、、揽明月九天·2025-04-09 12:53

02.C++进阶笔记

前文：基础笔记：C++基础笔记※内存模型1、程序的内存模型内存分区模型：C++程序在执行时，将内存大方向划分为4个区域(划分区域是为了给数据赋予不同的生命周期，提高编程的灵活性)。
停停今天也在摸鱼·2025-04-09 09:06

Oracle 性能优化的高频面试题及答案

5.如何使用分区表优化Oracle查询性能？6.如何利用Oracle的并行处理功能提升性能？7.如何管理和优化Oracle的内存使用？8.如何优化Oracle数据库的I/O性能？9.如何通过Oracl
闲人编程·2025-04-09 05:09

Linux运维排查常见故障_在tmp目录下有大量包含picture_ 的临时文件,每天晚上2 30需要对一天前的文件进行

用户权限以及相关目录权限没问题；用perror30提示信息为：OSerrorcode30:Read-onlyfilesystem可能原因：1）文件系统损坏；2）磁盘又坏道；3）fstab文件配置错误，如分区格式错误错误
2401_87298624·2025-04-08 22:59

C++详解

C++详解文章目录C++详解1内存分区模型1.1程序运行前1.2程序运行后1.3new操作符2引用2.1引用的基本使用2.2引用注意事项2.3引用做函数参数2.4引用做函数返回值2.5引用的本质2.6常量引用
咖啡里的茶i·2025-04-08 22:24

mysql 表分区

1.建表时指定多个分区CREATETABLE`mingmen_user_liked`(`id`bigintNOTNULLAUTO_INCREMENT,`liked_user_id`bigintDEFAULTNULLCOMMENT
qq_31683775·2025-04-08 13:29

OpenHarmony子系统开发 - 安全（十一）

file_contexts中data分区二级目录使用正则表达式检查检查说明data分区为可读写分区，大
__Benco·2025-04-08 13:57

【Kafka基础】生产者深度解析：从消息发送到可靠性保证

本文将深入探讨Kafka生产者的核心机制，包括消息发送流程、分区策略、异步机制和可靠性保证。1消息发送流程剖析Kafka生产者的消息发送流程是一个精心设计的多阶段过程。
IT成长日记·2025-04-08 12:49

ArgoDB分区分桶选取建议

表定义表定义流程在ArgoDB的分布式数据管理架构（TDDMS）下，表的数据会以数据分片（tablet）的方式分布在ArgoDB集群的各个节点的数据盘上。数据的分布影响SQL执行过程中的执行效率，因此提前规划合理的表定义可实现：表数据均匀分布在各个磁盘上，防止单个磁盘对应的存储设备空间不足造成的集群有效容量下降。选择合适分桶键，可以避免数据分布倾斜；表数据扫描压力均匀分散在各个磁盘上，避免某个磁盘
若愚致远·2025-04-08 10:33

linux 逻辑卷LVM

LVM（LogicalVolumeManager）逻辑卷管理是一种在Linux系统中用于管理磁盘空间的技术，它提供了一种灵活、高效的方式来管理硬盘分区和卷。
IT 忘本·2025-04-08 08:53

在分布式系统中如何应对网络分区

欢迎访问Java技术小馆官网，持续更新优质内容，助力技术成长Java技术小馆官网https://www.yuque.com/jtostring在分布式系统中如何应对网络分区在现代分布式系统中，网络分区是一个不可忽视的挑战
java技术小馆·2025-04-08 04:59

mstp的工作过程

是一种在以太网网络中用于构建冗余链路和防止环路的协议，其工作过程主要包括以下几个阶段：1.区域划分与实例创建区域划分：MSTP网络可以包含多个区域，通过配置相同的区域名称、修订级别和VLAN到实例的映射关系来划分区域
twb5201314·2025-04-07 23:59

kafka 的存储文件结构

Kafka的存储结构是围绕日志（Log）的设计展开的，而每个Kafka分区（Partition）都会以日志文件的形式存储。
百里自来卷·2025-04-07 15:37

RocketMQ是参考kafka进行实现的为什么rocketMQ与kafka性能差距很大呢?

kafka的底层数据储存实现rocketMQ的底层数据储存实现为什么rocketMQ不使用分区分开储存而要使用混合储存的方式?
dengjiayue·2025-04-07 15:05

clickhouse修改数据目录

clickhouse默认数据目录在/var/lib/clickhouse,一般分区空间有限，需要修改。只要停止数据库之后移走该目录再软连接回原地址,即可不修改config.xml实现对数据目录的修改。
shy_snow·2025-04-07 14:01

架构及大数据-Zookeeper与Kafka的关系及使用依赖，二者需要同时使用吗？KRaft模式又是啥？

Kafka中的核心作用‌Zookeeper是Kafka早期版本（2.8.0之前）中不可或缺的分布式协调服务，主要承担以下关键功能：‌元数据管理‌存储Broker注册信息（如节点地址、存活状态）及主题/分区的元数据
碧海饮冰·2025-04-07 09:28

Kafka 中的生产者分区策略

Kafka中的生产者分区策略是决定消息如何分配到不同分区的机制。这个策略对Kafka的性能、负载均衡、消息顺序性等有重要影响。了解它对于高效地使用Kafka进行消息生产和消费至关重要。
百里自来卷·2025-04-07 02:46

Python可视化实战：风玫瑰图

风玫瑰图是一种用于表示风向和风速频率分布的统计图，因其形状类似玫瑰花朵而得名，在多个领域有着重要用途，主要包括以下几个方面：城市规划与布局确定功能分区：通过风玫瑰图了解当地主导风向，将居民区布置在常年盛行风的上风向
python游乐园·2025-04-06 20:09

Reddit 网页爬虫使用 BeautifulSoup4 爬取结果为空

我尝试创建了一个Reddit的/r/all分区的网页爬虫，用来收集最热门帖子的链接。我按照YouTube上thenewboston的网页爬虫教程系列第一部分进行操作。
qq^^614136809·2025-04-06 20:05

个人整理的超全C++ 八股文（全是干货）

内存分区堆和栈的区别？指针常量和常量指针NULL在C语言中是(void*)0在C++中是0？C++用nullptr代指空指针？构造函数是什么？拷贝构造调用时机拷贝构造
了一li·2025-04-06 19:29

Hive ETL自动化实战：6大清洗策略×4种转换技巧×DolphinScheduler全链路调度方案

历史维度处理技巧2：跨表指标计算四、DolphinScheduler全链路调度1.工作流设计示例2.关键调度策略五、性能优化方案1.小文件合并策略2.数据倾斜解决方案六、四大避坑指南1.时区陷阱2.动态分区内存溢出七
一个天蝎座 白勺 程序猿·2025-04-06 12:18

大数据（4.7）Hive查询优化四大黑科技：分区裁剪×谓词下推×列式存储×慢查询分析，性能提升600%实战手册

本文将深度解析‌分区智能裁剪‌、‌谓词深度下推‌、‌列式存储压缩‌、‌慢查询根因定位‌四大核心方案，并提供可直接复用的企业级配置模板。一、分区裁剪：让数据扫描量锐减90%1
一个天蝎座 白勺 程序猿·2025-04-06 12:18

大数据（4.3）Hive基础查询完全指南：从SELECT到复杂查询的10大核心技巧

LIMIT）二、复杂查询实战技巧1.多表关联（JOIN）2.子查询（Subquery）3.集合操作（UNION&UNIONALL）4.窗口函数（ROW_NUMBER）三、10大实战案例案例1：查询最新分区数据案例
一个天蝎座 白勺 程序猿·2025-04-06 12:18

RabbitMQ应用问题

RabbitMQ应用问题一.幂等性1.简述概念2.MQ的幂等性介绍3.解决幂等性问题(1)全局唯一ID(2)业务逻辑判断二.顺序性保障1.简单介绍2.无法保证顺序性的场景3.保障方案1)单队列消费者2)分区消费
摆烂java选手·2025-04-06 11:09

搭建K8S-1.23

1192.168.160.41kuber-master-2192.168.160.42kuber-node-11、关闭三个服务（1）防火墙systemctlstopfirewalld（2）Selinuxsetenforce0（3）swap分区
运维博客团·2025-04-06 11:37
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他