分布式+集群第6页

安装与部署openeuler 的HA

实现原理LinuxHA（HighAvailability，高可用性）是指利用Linux操作系统构建的高可用集群解决方案，旨在确保关键业务服务在面临硬件故障、软件错误、网络中断等各种异常情况时，依然能够持续

VX-IT BANG·2025-02-20 14:21

马斯克的Grok-3：技术突破与行业冲击的深度解析

一、技术架构与核心突破超大规模算力集群Grok-3基于xAI自研的Colossus超级计算机训练完成，搭载20万块英伟达H100GPU，累计消耗2亿GPU小时，算力投入是前代Grok-2的10倍48。

♢.＊·2025-02-20 14:15

RHEL 安装 Hadoop 服务器

Hadoop是一个开源的分布式数据处理框架，用于处理大规模数据集。以下是在RHEL上安装Hadoop的详细步骤。

XhClojure·2025-02-20 13:41

如何安装Hadoop

Windows10的IP地址配置+CentOS静态IP设置Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输Hadoop入门(四)——模板虚拟机环境准备Hadoop入门(五)——Hadoop集群搭建

薇晶晶·2025-02-20 13:06

LLM的分布式部署：AI的云端革命

《LLM的分布式部署：AI的云端革命》关键词分布式部署语言模型云端计算资源管理性能优化安全性摘要本文将深入探讨大型语言模型（LLM）的分布式部署，分析其技术背景、架构设计、资源管理、性能优化以及安全性等方面

AI天才研究院·2025-02-20 12:01

炫“库”行动—人大金仓有奖征文—金仓读写分离集群优势

炫“库”行动—人大金仓有奖征文—金仓读写分离集群优势金仓读写分离集群实现了真正的高可用。为了保障数据的安全性，金仓数据库集群由多个数据库节点通过集群软件组织起来，客户通过访问集群的VIP来访问数据。

阳光下的微笑7·2025-02-20 12:30

【k8s应用管理】kubernetes HPA+rancher

文章目录KubernetesHPA部署指南概述部署metrics-server部署HPARancher管理Kubernetes集群指南实验环境安装及配置RancherKubernetesHPA部署指南概述

Karoku066·2025-02-20 12:22

一键安装KES-RWC读写分离集群

一、KES-RWC读写分离集群介绍金仓数据库读写分离集群软件在金仓数据守护集群软件的基础上增加了对应用透明的读写负载均衡能力。

banjin·2025-02-20 11:49

【后端】k8s

1.命令1.1获取service服务获取集群内所有命名空间的service服务sudokubectlgetservice--all-namespaces获取集群内指定命名空间的service服务sudokubectlgetservice-n

骑鱼过海的猫123·2025-02-20 11:19

zookeeper从入门到精通

一、入门基础1.1什么是ZooKeeperZooKeeper是一个开源的分布式协调服务，由雅虎创建，后成为Apache的顶级项目。

小四的快乐生活·2025-02-20 11:16

docker配置Redis主从复制原理及操作

持久化的一个作用就是可以定期将内存中的数据备份到硬盘，在系统发生故障的时候，也可以通过持久化文件回复数据，二、关于主从复制1、什么是主从复制主从复制是一种分布式系统数据同步技术，其中主服务器负责处理所有写操作并将变更同步到一个或多个从服务器

纪佰伦·2025-02-20 10:40

消息队列MQ技术的原理和IBM MQ的基本操作

消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。

Chelseady·2025-02-20 10:08

Redis架构之主从复制

Redis主从架构主从集群，实现读写分离主从数据同步主从同步流程slave节点向master节点发送replicaof命令建立连接，随后发送psync{repID}{offset}指令，repID表示主节点唯一标识

云雨殇·2025-02-20 09:05

doris集群

开发doris的团队厉害，这个百度工程师确实也干了一些实事，不像领导层只会跑火车。1参数配置1.1文件句柄数vim/etc/security/limits.conf*softnofile655350*hardnofile6553501.2关闭透明大页echonever>/sys/kernel/mm/transparent_hugepage/enabledechonever>/sys/kernel/

warrah·2025-02-20 09:30

如果MLlib 中没有所需要的模型，如何使用 Spark 进行分布式训练？

如果MLlib中没有你所需要的模型，并且不打算结合更强大的框架（如TensorFlowOnSpark或Horovod），仍然可以使用Spark进行分布式训练，但需要手动处理训练任务的分配、数据准备、模型训练

是纯一呀·2025-02-20 08:57

【分布式理论12】事务协调者高可用：分布式选举算法

文章目录一、分布式系统中事务协调的问题二、分布式选举算法1.Bully算法2.Raft算法3.ZAB算法三、小结与比较一、分布式系统中事务协调的问题在分布式系统中，常常有多个节点（应用）共同处理不同的事务和资源

roman_日积跬步-终至千里·2025-02-20 08:24

【分布式理论16】分布式调度2：资源划分和调度策略

文章目录一、资源划分：Linux容器的应用1.LXC的Namespace机制：资源隔离2.LXC的CGroup机制：资源管理二、任务与资源如何匹配1.任务队列与资源池2.资源调度策略在分布式系统中，资源的有效分配和调度是确保计算任务高效执行的关键

roman_日积跬步-终至千里·2025-02-20 08:24

基于Python的搜索引擎的设计与实现

传统的搜索引擎往往依赖于庞大的服务器集群和复杂的算法，对资源消耗较大，且难以满足个性化搜索需求。基于Python的搜索引擎设计，则凭借Python语言的易学易用、丰富的第三方库和强大的社区支持，为开

AI大模型应用之禅·2025-02-20 06:42

Kubernetes的Ingress和Service有什么区别？

在Kubernetes中，Ingress和Service是两个不同的概念，它们在功能、作用范围、应用场景等方面存在明显区别，具体如下：功能Ingress：主要用于管理集群外部到内部服务的HTTP和HTTPS

硅基创想家·2025-02-20 06:41

Kubernetes的Ingress 资源是什么？

在Kubernetes中，Ingress资源是一种用于管理集群外部对内部服务访问的API对象，主要用于将不同的外部请求路由到集群内的不同服务，以下是关于它的详细介绍：定义与作用Ingress资源定义了从集群外部到内部服务的

硅基创想家·2025-02-20 06:40

探索Vearch：高效的深度学习向量相似度搜索系统

Vearch是一个可扩展的分布式系统，用于高效搜索深度学习向量的相似度。

scaFHIO·2025-02-20 06:08

分布式理论与分布式算法

分布式定义、主要目标、优缺点、与集中式区别；分布式CAP定理、PACELC理论、BASE理论的核心观点、应用场景等；分布式算法如Paxos算法、Raft算法、Gossip算法、两阶段提交（2PC）、

红衣女妖仙·2025-02-20 05:05

华为的云端训练算力与迭代效率

华为云、云端训练、算力、迭代效率、人工智能、深度学习、模型训练、分布式训练、优化算法1.背景介绍人工智能（AI）技术近年来发展迅速，深度学习作为其核心驱动力，在图像识别、自然语言处理、语音识别等领域取得了突破性进展

AI大模型应用之禅·2025-02-20 05:34

JAVA EE初阶 - 预备知识（三）

一、中间件中间件是一种处于操作系统和应用程序之间的软件，它能够为分布式应用提供交互、资源共享、数据处理等功能，是现代软件架构中不可或缺的一部分。

2025年一定要上岸·2025-02-20 05:34

C#的序列化[Serializable()]

跨进程或跨机器传输：在分布式系统中，将对象通过网络传输到其他进程或机器。深拷贝对象：通过

CoderIsArt·2025-02-20 05:34

Git入门与进阶：详细使用指南

Git入门与进阶：详细使用指南Git是一款强大的分布式版本控制工具，广泛用于软件开发中的源代码管理。无论你是一个刚刚开始学习编程的新手，还是一个已经有经验的开发者，Git都是你日常工作中的必备工具。

向着开发进攻·2025-02-20 05:31

20250218 隨筆垂直分库分表（Vertical Sharding）和水平分库分表（Horizontal Sharding）

它们在大规模数据库优化、分布式架构设计中至关重要，主要用于降低单库压力、提高查询效率、支持高并发。

靈臺清明·2025-02-20 03:45

k8s rook-ceph MountDevice failed for volume pvc An operation with the given Volume ID already exists

https://github.com/rook/rook/issues/4896环境kubeadm搭建的k8s集群，rook-ceph部署的ceph存储，monpod所在宿主机和挂载客户端机器pod所在机器不在一个二层网络里

时空无限·2025-02-20 02:36

rook-ceph无法登录dashboard

环境ubuntu22.04tlsk8s1.20.2现象搭建好ceph集群环境后，执行如下命令获取admin登录账号的密码kubectl-nrook-cephgetsecretrook-ceph-dashboard-password-ojsonpath

时空无限·2025-02-20 02:06

Redis安全机制与数据备份：保障数据安全与高可用性

Redis安全机制与数据备份：保障数据安全与高可用性作为一个高效的内存数据库，Redis因其卓越的性能和灵活的应用场景，成为了分布式缓存、消息队列、实时分析等领域的核心组件。

一碗黄焖鸡三碗米饭·2025-02-20 02:35

python中的深度学习框架TensorFlow 和 PyTorch 有什么区别？

这使得TensorFlow在大规模分布式训练和部署时具有优势，但调试和动态修改模型时可能不够灵活。功能全面：TensorFlow提

大懒猫软件·2025-02-20 00:51

kubeadm拉起的k8s集群证书过期的做法集群已奔溃也可以解决

kubeadm拉起的k8s集群证书过期的做法这个是很久之前遇到的了，今天有空（心血来潮）就都回忆回忆写在这里为爱发光，部分内容来自arch先生（死党）的帮助。

KTKong·2025-02-19 23:40

虚拟机安装k8s集群

环境准备-主节点（MasterNode）:IP地址:192.168.40.100主机名:k8s-master-工作节点（WorkerNode）:IP地址:192.168.40.101主机名:k8s-node1步骤1:配置虚拟机环境1.1设置主机名在每台虚拟机上设置唯一的主机名：#在主节点上执行sudohostnamectlset-hostnamek8s-master#在工作节点上执行sudohos

开着拖拉机寻找春天·2025-02-19 23:39

延迟任务的11种实现方式（下）！！

接上文：Redisson的RDelayedQueueRedisson他是Redis的儿子（Redisson），基于Redis实现了非常多的功能，其中最常使用的就是Redis分布式锁的实现，但是除了实现Redis

架构文摘JGWZ·2025-02-19 23:05

GPU通信革命：跨平面网络效率提升300%的秘密武器

、技术解析：突破AI算力瓶颈的底层创新1.技术背景：终结多平面网络CPU中转困境传统多平面网络中，跨平面GPU通信必须经过CPU内存拷贝，导致两大痛点：20-30%的通信带宽浪费在CPU中转环节大规模集群训练时

CodePatentMaster·2025-02-19 22:27

DeepSeek专利：分布式系统的“去重神器”，如何让数据传输效率飙升？

“DeepSeek的这项专利（CN111064587A），通过创新的冗余数据消除机制，让分布式系统的数据传输效率提升50%，网络延迟降低30%！”

CodePatentMaster·2025-02-19 22:57

常用的高性能计算工具有哪些

一、高性能计算：定义与意义高性能计算（HPC）是一种利用超级计算机或大规模集群来处理复杂计算任务的技术。它通过并行计算和优化算法，

这题有点难度·2025-02-19 21:24

Hadoop01-入门&集群环境搭建--非原创（test）

Hadoop01-入门&集群环境搭建今日内容Hadoop的介绍集群环境搭建准备工作Linux命令和Shell脚本增强集群环境搭建来来来大数据概述大数据:就是对海量数据进行分析处理，得到一些有价值的信息，

xl.liu·2025-02-19 21:50

python分布式爬虫去重_Python分布式爬虫(三) - 爬虫基础知识

weixin_39997311·2025-02-19 20:49

Scrapy分布式爬虫系统

一、概述在这篇博文中,我们将介绍如何使用Docker来部署Scrapy分布式爬虫系统,包括Scrapyd、Logparser和Scrapyweb三个核心组件。

ivwdcwso·2025-02-19 20:48

使用 Docker 部署 Apache Spark 集群教程

本文将详细介绍如何使用Docker和DockerCompose快速部署一个包含一个Master节点和两个Worker节点的Spark集群。

努力的小T·2025-02-19 20:48

海量日志接入 Serverless 应用降本70%以上

本文档将探讨在日志场景下，使用阿里云ElasticsearchServerless相较于基于ECS自建Elasticsearch集群的成本与性能优势，展示如何通过Serverless架构实

·2025-02-19 20:47

ColD Fusion，分布式多任务微调的协同 “密码”

ColDFusion，分布式多任务微调的协同“密码”发布时间：2025-02-19近日热文：1.全网最全的神经网络数学原理（代码和公式）直观解释2.大模型进化史：从Transformer到DeepSeek-R1

·2025-02-19 20:46

Nacos 何避免并发读写冲突问题?

Nacos作为一个分布式服务注册和配置管理平台，为了避免并发读写冲突，采用了多种技术和策略来保证系统的数据一致性、可靠性和性能。

·2025-02-19 20:43

Kafka Raft知识整理

而Zookeeper并“不快”，集群规模大了之后，很容易成为

自东向西·2025-02-19 17:23

Kafka topic、producer、consumer的基础使用

文章目录Kafka初级前言1.topic的增删改查2.生产者的消息发送3.消费者消费数据Kafka初级前言关于kafka的集群安装这里就先跳过，如果需要相关资料以及学习视频的可以在留言下留下联系信息（邮箱

病妖·2025-02-19 17:22

Hadoop管理工具dfsadmin和fsck的使用

Hadoop提供了多个管理工具，其中dfsadmin和fsck是用于管理HDFS（Hadoop分布式文件系统）的重要工具。以下是它们的使用方法和常见命令。

脚本无敌·2025-02-19 16:46

Kafka的生产者和消费者模型

工作原理：生产者通过Kafka提供的API与Kafka集群进行通信，将消息异步发送到指定的主

Java资深爱好者·2025-02-19 16:15

（一）大数据---Hadoop整体介绍（架构层）----（组件(3)

=================================================================================基础的技术包含数据的采集、数据预处理、分布式存储

2401_84166965·2025-02-19 16:15

阶段 1：Kafka基础认知

Kafka集群由多个broker组成。Consumer（消费者）：负责从Kafkatopic中读取和处理数据，可以是日志分析服务、数据库服务器等。

AI航海家(Ethan)·2025-02-19 16:13

推荐频道

分布式+集群