分布式集群

【Linux】Hadoop-3.4.1的伪分布式集群的初步配置

配置步骤一、检查环境JDK#目前还是JDK8最适合Hadoopjava-versionecho$JAVA_HOMEHadoophadoopversionecho$HADOOP_HOME二、配置SSH免密登录Hadoop需要通过SSH管理节点（即使在伪分布式模式下）sudoaptinstallopenssh-server#安装SSH服务（如未安装）cd~/.ssh/ssh-keygen-trsa#生
孤独打铁匠Julian·2025-03-23 11:04

DMDDM文档数据库学习分享

支持主备集群和分布式集群部署方式，单个节点故障不影响整个系统的正常运行。
合作愉快：）·2025-03-23 05:40

mysql vs oracle

架构：多进程架构（每个用户连接对应独立进程），支持分布式集群（如RAC）。MySQL：定位：轻量级开源数据库，适合中小型应用及Web开发。授
HBryce24·2025-03-20 22:51

基于Docker 搭建Redis三主三从分布式集群

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、分布式系统规划二、准备配置文件1.创建redis集群目录三、启动Redis容器四、创建分布式系统1.创建集群2.查看节点信息总结前言提示：这里可以添加本文要记录的大概内容：本次搭建的为”三主三从“的分布式系统，分布式系统中节点存放的数据可以是不同的。当有数据写入请求到达分布式系统后，系统会采用虚拟槽分区算法将数据写入相
DBA学习之路·2025-03-20 03:47

《Linux运维总结：基于银河麒麟V10+ARM64架构部署多机elasticsearch7.17.21分布式集群+单机kibana7.17.21二进制版ssl集群》

总结：整理不易，如果对你有帮助，可否点赞关注一下？更多详细内容请参考：Linux运维实战总结一、背景elasticsearch是一个分布式、实时、高性能的搜索和分析引擎，它广泛应用于企业级搜索、日志分析、实时数据处理等领域。随着elasticsearch的广泛应用，安全性变得越来越重要。这里将从安全策略和访问控制两方面来部署elasticsearch集群安全策略涉及到数据安全、访问安全和操作安全等
东城绝神·2025-03-20 02:39

Docker-compose编排部署Kafka伪分布式集群(为后续实验搭建基础环境)

本实验参照官网http://kafka.apache.org/documentation/构建,为后续了解kafka应用做环境准备。搭建环境：MAC10.15docker19.03.4docker-composeversion1.24.1jdk1.8以上(对于kafka2.x以上版本已遗弃对jdk1.7的支持)zookeeper-3.4.14(这里没使用kafka自带zk,而使用外置zk,这里zk
F_Hello_World·2025-03-12 22:13

讲一下Spark的shuffle过程

首先Spark的shuffle是Spark分布式集群计算的核心。Spark的shuffle可以从shuffle的阶段划分，shuffle数据存储，shuffle的数据拉取三个方面进行讲解。
冰火同学·2025-03-11 20:29

后端架构师必知必会系列：分布式锁与并发控制

在互联网发展的早期，基于集中式服务器部署模式的网站在高并发访问下性能一般般，不过随着大规模集群的出现，如今很多网站已经将应用部署在分布式集群上，特别是在微服务架构兴起之后。为了提高
AI天才研究院·2025-03-10 01:37

ES03 - ES其他知识点

ES其他知识点文章目录ES其他知识点一：分布式集群和路由计算1：单节点集群2：故障转移3：水平扩容4：宕机故障5：路由计算二：分片控制流程1：协调节点2：写流程3：读流程4：更新流程5：多文档操作流程5.1
是小崔啊·2025-03-09 03:42

k8s service type_RabbitMQ(k8s)-随手笔记

,比如说支付、订单功能,服务后移,长时间操作的功能,同步数据我们通过监听数据变化实现功能联动特点分布式各节点互相冗余元数据(erlang.cookie,队列、交换机、绑定元数据、vhost元数据)实现分布式集群
weixin_39873325·2025-03-08 02:42

全面指南：使用JMeter进行性能压测与性能优化（中间件压测、数据库压测、分布式集群压测、调优）

目录一、性能测试的指标1、并发量2、响应时间3、错误率4、吞吐量5、资源使用率二、压测全流程三、其他注意点1、并发和吞吐量的关系2、并发和线程的关系四、调优及分布式集群压测（待仔细学习）1.线程数量超过单机承载能力时的解决方案
m0_74822999·2025-03-03 10:55

RocketMQ的架构及其工作流程详解

RocketMQ的架构及解析Producer1、消息发布的角色，支持分布式集群方式部署。
--流星。·2025-03-02 22:53

GaussDB 学习实战指南：从部署到高并发优化的全流程解析

一、GaussDB分布式集群部署实战1.本地多节点集群搭建（以openGauss为例）环境准备硬件要
Jan123.·2025-03-02 00:55

深入解析Zookeeper脑裂问题与CAP取舍：从原理到实战

“脑裂”（Split-brain）现象是指在一个分布式集群中，由于网络分区等原因，导致集群中的节点被分割成两个或多个独立的部分，每个部分都认为自己是唯一活跃的服务提供者。
guihong004·2025-02-27 05:26

Spark----Spark 在不同集群中的架构

部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client
XiaodunLP·2025-02-25 20:22

YashanDB体系架构

部署架构YashanDB支持三种部署形态，分别是单机（主备）部署（简称：单机部署）、分布式集群部署（简称：分布式部署）和共享集群部署。
YashanDB·2025-02-25 02:13

YashanDB自动选主

#主备自动选主在分布式集群节点组和单机一主多备（大于一个备库）部署形态下，可以开启主备自动选主功能来实现主库选举以及故障自动切换。主备自动选主采用Raft算法，并支持设置Quorum。
·2025-02-24 18:34

全面指南：使用JMeter进行性能压测与性能优化（中间件压测、数据库压测、分布式集群压测、调优）

目录一、性能测试的指标1、并发量2、响应时间3、错误率4、吞吐量5、资源使用率二、压测全流程三、其他注意点1、并发和吞吐量的关系2、并发和线程的关系四、调优及分布式集群压测（待仔细学习）1.线程数量超过单机承载能力时的解决方案
web13508588635·2025-02-23 00:46

《Linux运维总结：基于Ubuntu 22.04+x86_64架构CPU部署etcd 3.5.15二进制分布式集群》

总结：整理不易，如果对你有帮助，可否点赞关注一下？更多详细内容请参考：《Linux运维篇：Linux系统运维指南》一、功能简介1、什么是etcdetcd是一个分布式、可靠的键值存储系统，用于分布式系统中存储关键核心数据。它由CoreOS开发，并且是开源的，授权协议为Apache许可证。etcd内部采用了Raft一致性算法，可以实现配置共享和服务发现。etcd中文文档可参考如下：Etcd中文文档或者
东城绝神·2025-02-23 00:44

【Hadoop】使用Docker容器搭建伪分布式集群

使用Docker容器搭建Hadoop伪分布式集群1、编写docker-compose.yaml文件配置集群version:"3"services:namenode:image:apache/hadoop
慕青Voyager·2025-02-21 09:14

MySQL的集群配置和读写分离配置

MySQL重点概念介绍分布式集群方案主从节点复制分库分表mycat读写分离参数配置MySQL主节点MySQL从节点实例讲演分布式部署性能演示独立mysql对比主从复制+读写分离参考资料：浅谈mysql集群浅谈
lqg_zone·2025-02-17 08:29

使用Docker搭建Flink集群

我们知道，像spark、flink这些计算框架都有多种运行模式：在本地使用多线程模拟集群真正的分布式集群如果直接在IDE（Intellj）里面编译和运行写好的程序，实际上是用的前一种运行模式；如果想尝试真正的生产环境中任务的提交和管
O_1CxH·2025-02-16 20:34

Java面试八股文：Memcached面试题专场（持续更新中......）

2、Memcached服务分布式集群如何实现？3、Memcached服务特点及工作原理是什么？4、简述Memcached内存管理机制原理？SlabAllo
Java凤梨·2025-02-16 17:11

有了测试环境，为什么还需要预发环境

例子：测试环境使用单机部署，而生产环境是分布式集群，预发环境可提前发现分布式锁或服务发现机制的缺陷。真实数据与第三方依赖●测试环境：常使用脱敏数据、M
xidianhuihui·2025-02-11 11:54

zookeeper基础知识点

Zookeeper是一个分布式协调服务的开源框架，为分布式程序提供协调服务，同时用来解决分布式集群中应用系统的数据一致性问题。
@Heartworm·2025-02-10 15:19

clickhouse集群方案及表引擎最佳实践

clickhouse集群方案很多资料过于凌乱，也有一些还不错，但是其最佳实践部分讲的不够详细，例如：Clickhouse最佳实战之分布式集群方案研究那我们来讲讲我们的实践及面临过的问题。
yangls的技术博客·2025-02-09 13:42

spark1.6.0分布式安装

1.概述本文是对spark1.6.0分布式集群的安装的一个详细说明，旨在帮助相关人员按照本说明能够快速搭建并使用spark集群。
问道9527·2025-02-09 08:33

三、大数据之Zookeeper完全分布式集群搭建

目录Zookeeper简介：（1）集群部署规划（2）安装Zookeeper（3）配置zook.cfg文件（4）配置服务器编号（5）配置Zookeeper环境变量（6）配置文件分发（7）集群启动（8）zookeeper群启脚本（9）Zookeeper官方文档说明：Zookeeper安装包Zookeeper简介：Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zoo
尘.埃·2025-02-08 03:37

python 分布式集群_Python搭建Spark分布式集群环境

本文没有使用一台电脑上构建多个虚拟机的方法来模拟集群，而是使用三台电脑来搭建一个小型分布式集群环境安装。
小国阁下·2025-01-30 05:32

全面指南：使用JMeter进行性能压测与性能优化（中间件压测、数据库压测、分布式集群压测、调优）

目录一、性能测试的指标1、并发量2、响应时间3、错误率4、吞吐量5、资源使用率二、压测全流程三、其他注意点1、并发和吞吐量的关系2、并发和线程的关系四、调优及分布式集群压测（待仔细学习）1.线程数量超过单机承载能力时的解决方案
vip1024p·2025-01-22 07:34

oceanbase架构、功能模块、数据存储、特性、sql流转层等概念详解

一、架构图OceanBase数据库采用无共享（Shared-Nothing）分布式集群架构，各个节点之间完全对等，每个节点都有自己的SQL引擎、存储引擎、事务引擎，运行在普通PC服务器组成的集群之上，具备高可扩展性
小成很成·2025-01-21 11:16

分布式集群中为什么会有 Master？思维导图 代码示例（java 架构)

在分布式集群中引入Master（通常也称为Leader或Primary）节点的主要原因是为了解决一致性问题，提供单点决策机制，并简化系统的管理和协调。
用心去追梦·2025-01-17 05:20

Redisson分布式锁实现原理和使用

常见的锁内存锁lock,synchronize分布式锁redis，zookeeper实现Redisson基于redis实现了Lock接口的分布式集群锁，是可重入锁，功能强大，源码复杂，比redis单机模式分布式锁可靠
牧竹子·2024-09-14 22:25

docker-compose部署minio分布式集群

1、节点情况建议：minio节点数最好4节点以上，nginx独立部署在其他服务器。主机IP操作系统部署情况minio1192.168.16.34centos7miniominio2192.168.16.35centos7miniominio3192.168.16.36centos7miniominio4192.168.16.40centos7minio、nginx2、安装docker、docker
伏案惊涛·2024-09-14 19:32

python分布式集群ray_Ray：为人工智能而生的分布式执行框架

许多人工智能算法在计算上都非常密集，并且显示出复杂的通信模式。为此许多研究人员将大部分时间花在构建定制系统上，以高效地在集群中分发代码。然而，定制的系统通常是基于特定的单一算法或算法类。因此我们构建了Ray来帮助消除一堆冗余的工程任务，这些任务目前在每个新算法中反复出现。我们希望能够重用一些基本的基础元素来实现并高效地执行各种算法和应用程序。现有代码的简单并行化Ray允许通过最少的修改来远程执行P
不死鹰阿江·2024-09-12 04:51

python分布式集群ray_GitHub - Leesire-Python/jd_spider: 两只蠢萌京东的分布式爬虫.

使用scrapy,scrapy-redis,graphite实现的京东分布式爬虫，以mongodb实现底层存储。分布式实现，解决带宽和性能的瓶颈，提高爬取的效率。实现scrapy-redis对进行url的去重以及调度，利用redis的高效和易于扩展能够轻松实现高效率下载：当redis存储或者访问速度遇到瓶颈时，可以通过增大redis集群数和爬虫集群数量改善版本支持现在支持Py2和Py3,但是需要注
weixin_39781930·2024-09-06 00:17

聊聊 OceanBase 资源管理

OceanBase是分布式多租户架构数据库，其分布式集群从资源角度看可以分成集群、Zone、OBServer、资源池和租户等几个层次。
数据最前线·2024-09-03 04:56

基于分布式计算的电商系统设计与实现【系统设计、模型预测、大屏设计、海量数据、Hadoop集群】

有需要本项目的代码或文档以及全部资源，或者部署调试可以私信博主==项目展示项目介绍目录摘要Abstract1引言1.1研究背景1.2国内外研究现状1.3研究目的1.4研究意义2关键技术理论介绍2.1Hadoop相关组件介绍2.2分布式集群介绍
王小王-123·2024-09-03 04:54

Spring Boot/Cloud实现多服务Session共享

背景最近公司承接的某项目里，随着用户量的递增，单服务渐渐不能满足客户的需求了，客户方希望我们对原有的服务进行扩展，采用分布式集群部署的方式实现对高并发和负载均衡的支持。
雷袭月启·2024-09-02 01:12

极客天成签署 CCLA，携手openEuler社区共拓信创AI新天地

极客天成以高通量分布式集群存储为先锋，围绕软件定义、智能化、安全可靠，全链RDMA构建了完全自主可控的分布式存储产品线和解决方案，主要解决用户海量数据下的高性能低时延数据读写难题，可为用户的数据中心提供
极客天成ScaleFlash·2024-08-31 14:32

Java高级技术day75：Zookeeper与Dubbo

Zookeeper的介绍1.Zookeeper介绍：顾名思义zookeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)、pig(小猪)的管理员，ApacheHbase和ApacheSolr的分布式集群都用到了
开源oo柒·2024-08-28 20:54

Kafka命令详解：从零开始，掌握Kafka集群管理、主题操作与监控的全方位技能，理解每一条命令背后的逻辑与最佳实践

为大家推荐几篇比较好的Kafka文章：Kafka分布式集群部署实战：跨越理论，直击生产环境部署难题与解决方案，性能调优、监控与管理策略大揭秘，轻松上手分布式消息中间件-CSDN博客ApacheKafka
长风清留扬·2024-08-27 16:37

《Linux运维总结：基于银河麒麟V10+ARM64架构CPU部署zookeeper 3.8.4二进制分布式集群》

总结：整理不易，如果对你有帮助，可否点赞关注一下？更多详细内容请参考：《Linux运维篇：Linux系统运维指南》一、功能简介1、什么是ZookeeperZooKeeper是一个开源的、分布式的应用程序协调服务，它为分布式框架提供协调服务的Apache项目。它是Google的Chubby项目的开源实现之一，并且是Hadoop和HBase等项目的重要组成部分。ZooKeeper提供的功能包括配置维护
东城绝神·2024-08-22 16:35

基于ElasticSearch存储海量AIS数据-架构设计篇

面向海量AIS数据，提出了一种基于分布式集群的AIS数据存储方法。该方法对AIS数据存储索引结构进行了设计，通过对时间维按月切分，以及对空间范围聚类切分，构造了索引时空立方体，
iOS逆向·2024-03-15 23:58

docker搭建hadoop hdfs完全分布式集群

1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。这里注意，在做好的镜像里，要安装which工具，否则在执行hdfs命令时会报命令不存在异常。yuminstallwhich-y2启动容器dockerrun--namehmaster--hostnamehmaster--net
shangcunshanfu·2024-02-20 22:08

【9】知识存储

单节点的服务器可承载上亿级的节点和关系，单节点性能不够时也可进行分布式集群部署。Neo4j有自己的后端存储，不必如同JanusGraph等一样还要依赖另外的数据库存储。
铁盒薄荷糖·2024-02-19 22:06

FastDFS 分布式集群搭建详解

文章目录前言1、整体架构2、安装配置FastDFS集群2.1配置tracker2.2配置storage3、启动集群4、查看集群情况5、nginx配置5.1配置storage的四台机器的nginx5.2配置tracker的两台机器的nginx5.3配置统一入口前言阅读本文章之前请先看上一篇单机版FastDFS安装配置详解，所以本文有些内容我就一笔带过，传送门：《FastDFS环境搭建及使用详解》1、
程序员大佬超·2024-02-19 16:39

文件上传-第三方服务阿里云OSS

也可以建立分布式集群,专门的微服务来存储文件常见的技术比如Minio。对于中小型公司，并且上传文件私密性不高的话可以使用第三方的存储服务，比如阿里云、华为云等。
sunyunfei1994·2024-02-19 16:54

阿里云计算平台大数据基础工程技术团队直聘！！！

通过软件工程，数据智能化的方法论，围绕数据系统化建设运维智能工具链，打造飞天大数据&AI运维管控平台ABM，解决超大规模分布式集群运维管理问题，提升产品的稳定性
·2024-02-19 11:20

分布式缓存上—浅谈缓存的理解

2.2反向代理缓存应用场景2.3本地应用缓存应用场景缓存介质实现1.通过编程实现2.Ehcahe缓存数据过期策略3.分布式缓存3.1Memcached基本介绍特点基本架构缓存数据过期策略数据淘汰内部实现分布式集群实现数据存储步骤
ZNineSun·2024-02-15 09:39
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他