hpc集群第16页

YARN架构解析：大数据资源管理核心

一、YARN的设计目标解耦资源管理与作业调度：将资源管理（ResourceManagement）和任务执行（TaskExecution）分离，提升集群资源利用率。

不辉放弃·2025-05-29 19:30

GaussDB数据库三权分立性能介绍

默认权限机制和管理员两节的描述基于的是集群创建之初的默认情况。默认情况下拥有SYSADMIN属性的系统管理员，具备系统最高权限。

小嗑数据库·2025-05-29 14:54

Python爬虫（40）基于Selenium与ScrapyRT构建高并发动态网页爬虫架构：原理、实现与性能优化

目录一、引言二、技术背景1.动态页面处理痛点2.架构设计目标三、核心组件详解1.SeleniumGrid集群部署2.ScrapyRT服务化改造3.智能等待策略四、系统架构图五、性能优化实践1.资源隔离策略

一个天蝎座白勺程序猿·2025-05-29 09:54

spark学习-62-Spark:Yarn-cluster和Yarn-client区别与联系

Spark支持可插拔的集群管理模式(Standalone、Mesos以及YARN)，集群管理负责启动executor进程，编写

九师兄·2025-05-29 09:50

Spark-client，Spark-yarn模式

spark的集群主要有三种运行模式standalone、yarn、mesos，其中常被使用的是standalone和yarn模式。

Xq飓风翱翔·2025-05-29 09:19

Spark基础学习笔记06：搭建Spark On YARN集群

文章目录零、本讲学习目标一、SparkOnYARN架构（一）client提交方式（二）cluster提交方式二、搭建SparkOnYARN集群（一）搭建SparkStandalone集群（二）修改Spark

酒城译痴无心剑·2025-05-29 08:48

C++并行计算：MPI 与 OpenMP 混合编程

MPI与OpenMP混合编程OpenMPI(分布式内存并行)和OpenMP(共享内存并行)的混合编程可以充分发挥现代多核集群的计算能力。这种混合模式通常被称为MPI+OpenMP编程模型。

倔强老吕·2025-05-29 08:47

LVS的DR模式部署

目录一、引言：高并发场景下的流量调度方案二、LVS-DR集群核心原理与架构设计（一）工作原理与数据流向数据包流向步骤3：（二）模式特性与53网络要求三、实战配置：从9环境搭建到参数调整（一）案例环境规划

2501_91112123·2025-05-29 07:37

LVS -DR

目录LVS—DR集群请求与响应流程数据包流向分析特点与优势LVS-DR模式特点典型应用场景路由模式（LVS—DR）LVS—DR集群LVS（LinuxVirtualServer）的DR（DirectRouting

澜兮子·2025-05-29 07:07

如何设计一个支持千万级数据量的搜索系统（结合 MySQL 和 ES）？ES与关系型数据库（MySQL）数据同步方案？如何保证数据库与Elasticsearch的双写一致性？对比采用事务日志与CDC方案

千万级搜索系统架构设计（增强版）架构分层说明：├──接入层│├️NGINX（负载均衡+SSL卸载）│└️APIGateway（JWT鉴权+限流）├──计算层│├️实时写入集群（处理MySQL写入）││├️

搞不懂语言的程序员·2025-05-29 06:57

ES 在大查询场景下导致 GC 频繁，如何定位和解决？

问题的关键步骤检查JVM配置#查看Elasticsearch节点JVM配置GET/_nodes/jvm重点关注heap_max_in_bytes和垃圾回收器类型（G1/CMS）分析GC日志#启用GC日志（需重启集群

搞不懂语言的程序员·2025-05-29 06:57

Debezium系列之：Debezium技术专栏第300篇系列文章之打通Debezium实时采集Oracle数据库数据到Kafka集群的技术

Debezium系列之：Debezium技术专栏第300篇系列文章之打通Debezium实时采集Oracle数据库数据到Kafka集群的技术一、需求描述二、部署Debezium集群和Oracle连接器三

快乐骑行^_^·2025-05-29 05:20

【MySQL】第12节｜MySQL 8.0 主从复制原理分析与实战（二）

2.核心优势传统主从复制组复制（MGR）单主节点，存在单点故障多节点集群，支持单主或多主模式异步复制，

泽韦德·2025-05-29 03:30

Elasticsearch的运维

Elasticsearch运维工作详解：从基础保障到性能优化Elasticsearch（简称ES）作为分布式搜索和分析引擎，其运维工作需要兼顾集群稳定性、性能效率及数据安全。

杰克逊的日记·2025-05-29 02:23

（一）Kafka 安全之使用 SSL 的加密和身份验证

启用SSL后，Kafka集群中的所有数据传输，包括生产者、消费者与Broker之间的消息

流华追梦·2025-05-29 00:10

fastdfs集群搭建

fastdfs集群搭建需要的软件关闭防火墙安装运行环境启动tracker配置安装FastDFS安装设置tracker设置storage安装nginx下载地址安装fastdfs-nginx-module编辑

Q-晓阳·2025-05-28 20:47

JuiceFS 企业版 5.2：迈入千亿文件时代，稳定性与性能再升级，首次支持 Windows 客户端

此次升级重点提升了超大规模集群的稳定性，优化了分布式缓存的网络性能，并增强了系统的易用性与安全性，旨在支持高并发访问等复杂的高性能应用场景。

·2025-05-28 20:16

集群恢复，当节点离线导致分片状态为UNASSIGNED时，如何进行分片重分配？当出现Elasticsearch bulk写入性能瓶颈时，可以从哪些方面进行优化

关于Elasticsearch集群恢复和写入性能优化问题，以下是具体解决方案：一、集群分片重分配解决方案手动分片分配（需确保集群状态Yellow/Red）：PUT_cluster/reroute{"commands

搞不懂语言的程序员·2025-05-28 19:34

Elasticsearch 如何实现跨数据中心的数据同步？

实战场景：双数据中心容灾，要求RPO上海单向同步）#建立集群间安全连接PUT/_cluster/settings{"persistent":{"cluster.remote.shanghai_cluster.seeds

搞不懂语言的程序员·2025-05-28 19:04

Elasticsearch：管理和排除 Elasticsearch 内存故障

本文将深入探讨Elasticsearch的内存管理机制，以及如何有效地排除内存故障，确保集群的稳定性和性能。一、Elasticsearch内

俊星学长·2025-05-28 19:31

部署LVS-DR群集

配置虚拟IP地址（VIP）（2）调整proc响应参数3.配置节点服务器（1）配置虚拟IP地址（VIP）（2）调整proc响应参数（3）安装httpd,创建测试页面（4）启用httpd服务程序4.测试LVS集群一

别骂我h·2025-05-28 11:36

【Elasticsearch】快照snapshot入门教程

一、环境信息1.1、操作系统centos71.2、Elasticsearch版本7.13.41.3、主机清单集群节点名称内网IPKibanacfg-cluster-1node-01192.168.30.13http

柒杯红酒·2025-05-28 05:25

打造即插即用的企业级云原生平台——KubeSphere 4.1 扩展组件在生产环境的价值全解

目录打造即插即用的企业级云原生平台——KubeSphere4.1扩展组件在生产环境的价值全解1.可观测体系：WhizardTelemetry全家桶2.平台与多集群治理3.CI/CD与交付效率4.网络与流量入口

gs80140·2025-05-28 04:48

【云原生】kubernetes最新版本1.30.2，集群搭建部署全方位攻略

✨✨欢迎大家来到景天科技苑✨✨养成好习惯，先赞后看哦~作者简介：景天科技苑《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，云原生k8s，linux，she

景天科技苑·2025-05-28 02:05

Kylin Server V10 下基于Kraft模式搭建Kafka集群

一、Kraft模式与ZooKeeper模式简介在Kafka2.8之前，Kafka重度依赖ZooKeeper集群做元数据管理、Controller的选举等（统称为共识服务）；当ZooKeeper集群性能发生抖动时

Mindfulness code·2025-05-28 01:54

Quartz、Elastic-Job 和 XXL-Job

集群模式：通过数据库锁实现简单分布式调度（存在竞争问题）。轻量级：无额外依赖，可嵌入任何Java应用。缺点无分布式协调：集群节

思静鱼·2025-05-28 00:50

企业级调度器 LVS

集群和分布式基础知识系统性能的扩展方式当一个系统，或一个服务的请求量达到一定的数量级的时候，运行该服务的服务器的性能和资源上限，很容易成为其性能瓶颈。

运维小魏~·2025-05-27 18:34

Elasticsearch——Elasticsearch性能优化实战

摘要本文主要介绍了Elasticsearch性能优化的实战方法，从硬件配置优化、索引优化设置、查询方面优化、数据结构优化以及集群架构设计等五个方面进行了详细阐述，旨在帮助读者提升Elasticsearch

egzosn·2025-05-27 17:01

30 企业级调度器LVS

文章目录LinuxVirtualServer本章内容集群概念LVS模型LVS调度算法LVS实现ldirectord1集群和分布式系统性能扩展方式：垂直扩展不再提及：1.1集群ClusterCluster

YANYI99·2025-05-27 17:31

综合实现案例 LVS keepalived mysql 等

案例场景：高可用Web服务架构目标构建高可用Web集群，支持负载均衡和故障自动切换。实现HTTPS加密访问，保障数据传输安全。使用MySQL主从复制实现数据库高可用和读写分离。

运维成长记·2025-05-27 17:29

企业级调度器LVS （面试版）

它将多个服务器组成⼀个⾼可⽤、⾼性能和⾼可靠的虚拟服务器集群，通过将客户端的请求转发到不同的后端服务器，实现负载均衡和⾼可⽤性。2.什么是LVS的调度算法？它们的区别是什么？

运维成长记·2025-05-27 17:59

ceph recovery 相关参数

尝试修改任何默认恢复/回填限制而不设置门控选项，会将该选项重置为mClock默认值，并在集群日志中记录一条警告消息。请注意，默认值可

时空无限·2025-05-27 16:23

ceph性能调优

ceph的进程对cpu的依赖强弱MON>OSD一个MON进程给2G内存一个OSD进程给1G内存（osd使用一个物理磁盘）如果使用多个物理磁盘作为一个OSD，每个OSD进程就需要分配大于1G的内存，另外集群处于

时空无限·2025-05-27 16:53

017 Ceph的集群管理_3

一、验证OSD1.1osd状态运行状态有：up，in，out，down正常状态的OSD为up且in当OSD故障时，守护进程offline，在5分钟内，集群仍会将其标记为up和in，这是为了防止网络抖动如果

weixin_30614587·2025-05-27 16:23

Kubernetes 核心原理详解

一、架构概览：控制平面与工作节点Kubernetes集群由控制平面（ControlPlane）和工作节点（WorkerNodes）组成，两者协同完成容器化应用的管理。1.控制

一只理智恩·2025-05-27 16:22

Elasticsearch 集群如何实现高可用？如何避免脑裂问题？如果出现脑裂如何恢复？

以下为Elasticsearch架构设计与高可用方案详细说明：冷热架构一、冷热数据分离架构设计（文字描述模拟架构图）[HotLayer]│├─SSD节点组（3节点）│├─角色：ingest/data/hot│├─存储：近7天数据│└─策略：索引自动滚动│[WarmLayer]│├─HDD节点组（5节点）│├─角色：data/warm│├─存储：历史数据│└─策略：ILM策略自动迁移│[Coordi

搞不懂语言的程序员·2025-05-27 15:18

PCS 管理 PostgreSQL 高可用集群

以下是使用Pacemaker/Corosync(PCS)管理PostgreSQL高可用集群的详细实现方案。

取个名真难呀·2025-05-27 13:36

Elasticsearch性能优化全解析

本文基于Elastic官方文档，系统性地总结了从硬件配置、索引设计到查询优化的全链路优化策略，帮助用户构建高性能、高稳定性的集群。

weixin_30777913·2025-05-27 09:07

使用Kubekey安装K8S集群并使用KubeSphere管理平台

文章目录一、前提条件1.允许root登录2.SSH免密登录3.更换源4.设置时区二、创建Kubernetes集群1.下载Kubekey2.创建集群配置文件3.初始化操作系统4.修改配置文件5.创建k8s

杜莱恩特Durant·2025-05-27 03:06

使用KubeKey快速部署k8s v1.31.8集群

实战环境涉及软件版本信息：使用kubekey部署k8s1.操作系统基础配置设置主机名、DNS解析、时钟同步、防火墙关闭、ssh免密登录等等系统基本设置dnfinstall-ycurlsocatconntrackebtablesipsetipvsadm2.安装部署K8s2.1下载KubeKey###地址https://github.com/kubesphere/kubekey#下载最新版的KubeK

qq_31292011·2025-05-27 03:35

【Redis】第1节｜Redis服务搭建

一、Redis基础概念核心功能内存数据库，支持持久化（RDB/AOF）、主从复制、哨兵高可用、集群分片。常用场景：缓存、分布式锁、消息队列、计数器、排行榜等。

泽韦德·2025-05-27 01:19

TDengine 中集群维护

本节介绍TDengineEnterprise中提供的高阶集群维护手段，能够使TDengine集群长期运行得更健壮和高效。

TDengine （老段）·2025-05-26 22:05

Redis集群环境各节点无法互相发现与Hash槽分配异常 CLUSTERDOWN Hash slot not served的解决方式

原创/朱季谦在搭建Redis5.x版本的集群环境曾出现各节点无法互相发现与Hash槽分配异常CLUSTERDOWNHashslotnotserved的情况，故而把解决方式记录下来。

朱季谦·2025-05-26 21:30

redis-(error) CLUSTERDOWN Hash slot not served

背景搭建redis集群，使用redis-cli连接客户端，设置键值对报错原因没有分配槽，因为redis集群要分配16384个槽来储存数据，那么没有分配槽则报如上错误解决方案[root@sg193redis

架构师之路魂·2025-05-26 20:57

RabbitMQ 集群与高可用方案设计（三）

五、高可用方案设计与实现（一）负载均衡与代理1.HAProxy配置HAProxy是一款广泛应用的开源负载均衡器和代理服务器，它能够实现对RabbitMQ集群节点的负载均衡和健康检查，有效提高系统的可用性和性能

计算机毕设定制辅导-无忧学长·2025-05-26 19:50

nacos集群部署

Nacos集群部署nacos简介nacos文档.Nacos集群部署架构因此开源的时候推荐用户把所有服务列表放到一个vip下面，然后挂到一个域名下面http://ip1:port/openAPI直连ip模式

壹~~·2025-05-26 18:44

AUTOSAR自适应平台Persistency模块(一)

AUTOSAR自适应平台Persistency模块(一)_autosarpersistency-CSDN博客Persistency概念持久性模块是自适应平台体系结构中的一个功能集群。

sun007700·2025-05-26 12:14

一台机器怎么部署k8s集群

一台机器怎么部署k8s集群安装k8s需要先安装docker安装Kubernetes（K8s）需要先安装Docker‌。

开挖掘机上班·2025-05-26 10:29

LVS 负载均衡集群应用实战

前提：三台虚拟机，有nginx，要做负载1.LVS-server安装lvs管理软件[root@lvs-server~]#yum-yinstallipvsadm程序包：ipvsadm（LVS管理工具）主程序：/usr/sbin/ipvsadm规则保存工具：/usr/sbin/ipvsadm-save>/path/to/file配置文件：/etc/sysconfig/ipvsadm-config2.L

溜溜刘@♞·2025-05-26 10:59

Kafka Consumer工作流程

KafkaConsumer工作流程图1、启动与加入组消费者启动后，会向Kafka集群中的某个Broker发送请求，请求加入特定消费者组。

WZMeiei·2025-05-26 08:43

推荐频道

hpc集群