分布式存储集群

MongoDB知识概括

GeorgeLin98·2024-09-16 06:58

98_es生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数

98_es生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数shardrecovery配置以及集群重启时的无意义shard重分配问题在集群重启的时候，有一些配置会影响shard恢复的过程

小山居·2024-09-16 03:53

KVM+GFS分布式存储系统构建KVM高可用

一、案列分析1.1案列概述本章案例主要使用之前章节所学的KVM及GlusterFs技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，Glu

henan程序媛·2024-09-16 00:17

Hadoop

它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。

傲雪凌霜，松柏长青·2024-09-16 00:16

【Kubernetes】常见面试题汇总（十一）

目录33.简述Kubernetes外部如何访问集群内的服务？34.简述Kubernetesingress？35.简述Kubernetes镜像的下载策略？

summer.335·2024-09-16 00:14

k8s中Service暴露的种类以及用法

二、详解1.ClusterIP定义：默认类型，服务只能在集群内部访问。作用：通过集群内部IP地址暴露服务。示例：spec:type:ClusterIPports:-port:80targetPo

听说唐僧不吃肉·2024-09-16 00:13

Kubernetes 自定义控制器开发

前言Controller监听集群内部资源对象的变化，编辑资源对象(增

IT回忆录·2024-09-15 23:40

【K8s】专题十一：Kubernetes 集群证书过期处理方法

本文内容均来自个人笔记并重新梳理，如有错误欢迎指正！如果对您有帮助，烦请点赞、关注、转发、订阅专栏！专栏订阅入口Linux专栏|Docker专栏|Kubernetes专栏往期精彩文章【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法（续）【Docker】MySQL源码构建Docker镜

行者Sun1989·2024-09-15 22:34

华为云分布式缓存服务DCS与开源服务差异对比

分布式缓存服务DCS提供单机、主备、集群等丰富的实例类型，满足用户高读写性能及快速数据访问的业务诉求。支持丰富的实例管理操作，帮助用户省去运维烦恼。

hcinfo_18·2024-09-15 18:49

在服务器计算节点中使用 jupyter Lab

、数据分析和机器学.jupyterlab是jupyternotebook的下一代产品,集成了更多功能,使用起来更方便.在进行数据分析及可视化时，个人电脑不能满足大数据的分析需求，就需要用到高性能计算机集群资源

ranshan567·2024-09-15 17:43

老生常谈：MySQL高可用架构

服务备份：有些服务是无法同时存在多个运行时的，比如说：Nginx的反向代理，一些集群的leader节点。这时可以存在一个备份服务，处于随时待命状态。自动切换：服务冗余之后，当某个节点不可用时，要

我有一头小花驴·2024-09-15 14:24

MySQL MHA

一、MySQLMHA高可用环境概述1.什么是MHAMHA（MasterHighAvailability）是一款用于MySQL数据库集群的高可用解决方案，主要解决MySQL单点故障问题。

pokemon..·2024-09-15 12:33

关于Redis集群同步/持久化/淘汰机制的详解

Redis是非常常用的KV数据库,使用内存以及HashMap进行存储的特点带来了高效的查询.本文将围绕Redis的常见开发使用场景,阐述在Redis集群中各个节点是如何进行数据同步,每个节点如何进行持久化以及在长期使用中如何对数据进行更新和淘汰

尾巴尖上的阳光·2024-09-15 09:15

ETCD 六 etcd总体架构

hack基准测试、测试集群、k8s部署、分支管理、证书等pkg实用程序包的集合raftraft实现server.auth角色身份验证server.em

wanghaichao1234·2024-09-15 09:15

【K8S】kubernetes集群架构与组件

文章目录【K8S】kubernetes集群架构与组件kubernetes组件**master组件**node组件整体流程POD终止过程【K8S】kubernetes集群架构与组件kubernetes组件

奇奇怪怪^·2024-09-15 05:43

Kubernetes——组件

文章目录K8S的优势核心架构角色与功能集群图例K8S的优势能管理大量跨主机容器快速部署应用快速扩展应用无缝对接新的应用节省资源，优化硬件资源的使用核心架构master（管理节点）node（计算节点）images

窒息う·2024-09-15 04:37

Kubernetes组件

Kubernetes主要由以下几个核心组件组成：etcd保存了整个集群的状态；

汉只只·2024-09-15 04:34

【Linux 从基础到进阶】Kubernetes 集群搭建与管理

Kubernetes集群搭建与管理Kubernetes（简称K8s）是一个用于自动化部署、扩展和管理容器化应用程序的开源平台。

爱技术的小伙子·2024-09-15 03:00

Spark集群的三种模式

文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可

MelodyYN·2024-09-15 01:16

【集群架构中的故障集合】_nfs connection reset by peer

3.Connectionrefused连接拒绝检查是否能ping通对应服务器[12:41root@backup~]#rsync-avz/etc176.16.1.31:/tmpssh:connecttohost176.16.1.31port22:Connectionrefusedrsync:connectionunexpectedlyclosed(0bytesreceivedsofar)[sende

2024云技术·2024-09-15 00:09

Redis 集群

目录Redis主从复制Redis主从复制简介Redis主从复制的作用Redis主从复制流程搭建Redis主从复制master节点slave节点验证哨兵故障转移机制部署哨兵Redis集群作用数据分区高可用

確定饿的猫·2024-09-14 23:36

Web3入门指南：从基础概念到实际应用

与以往依赖中心化服务器和大公司控制的数据模式不同，Web3通过区块链技术实现了数据的分布式存储和处理。这一去中心化

dingzd95·2024-09-14 23:01

为什么需要DDos高防服务器呢？

DDoS高防服务可以通过云端清洗集群、数据库监控牵引系统等技术进行有效的削弱。这些技术能够识别并过滤恶意流量，确保正常用户能够顺利

666IDCaaa·2024-09-14 23:28

论文分享系列（二）——论微服务架构及其应用

前端Web服务由负载均衡与服务器集群结合，实现高并发的前台界面；平台保障服务以Eureka为中心

马斯洛金字塔下的小灵猴儿·2024-09-14 22:25

Redisson分布式锁实现原理和使用

常见的锁内存锁lock,synchronize分布式锁redis，zookeeper实现Redisson基于redis实现了Lock接口的分布式集群锁，是可重入锁，功能强大，源码复杂，比redis单机模式分布式锁可靠

牧竹子·2024-09-14 22:25

分布式消息队列Kafka

Kafka集群由多个Kafka实例（Server）组成，每个实例称为Broker。

叶域·2024-09-14 22:55

HBase介绍

概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。

mingyu1016·2024-09-14 21:47

Redis的持久化和高可用性

目录一、淘汰策略1、背景2、淘汰策略二、持久化1、背景2、fork进程写时复制机制3、Redis持久化方式1、aof2、rdb三、高可用1、主从复制2、Redis哨兵模式3、Rediscluster集群一

小辛学西嘎嘎·2024-09-14 21:44

PostgreSQL进阶教程

进阶教程目录事务和并发控制事务事务隔离级别锁高级查询联合查询窗口函数子查询CTE（公用表表达式）数据类型自定义数据类型数组JSON高级索引部分索引表达式索引GIN和GiST索引性能调优查询优化配置优化备份与恢复物理备份逻辑备份扩展与插件PostGISpg_cron集群与高可用

爱分享的码瑞哥·2024-09-14 19:05

Docker-compose minio集群部署

一、虚机准备192.168.40.174192.168.40.174192.168.40.176二、下载docker-compose离线安装docker及docker-compose_docker-compose离线安装-CSDN博客三、docker-compose.yml文件按docker-compose文件启动，minio的api端口为9000，控制台端口为9001174version:"3"

有点菜的运维·2024-09-14 19:04

docker-compose部署minio分布式集群

1、节点情况建议：minio节点数最好4节点以上，nginx独立部署在其他服务器。主机IP操作系统部署情况minio1192.168.16.34centos7miniominio2192.168.16.35centos7miniominio3192.168.16.36centos7miniominio4192.168.16.40centos7minio、nginx2、安装docker、docker

伏案惊涛·2024-09-14 19:32

Ansible自动化部署kubernetes集群

机器环境介绍1.1.机器信息介绍IPhostnameapplicationCPUMemory192.168.204.129k8s-master01etcd，kube-apiserver，kube-controller-manager，kube-scheduler,kubelet,kube-proxy,containerd2C4G192.168.204.130k8s-worker01etcd，kub

theo.wu·2024-09-14 17:22

elasticsearch数据迁移之elasticdump

系列文章目录第一章es集群搭建第二章es集群基本操作命令第三章es基于search-guard插件实现加密认证第四章es常用插件文章目录系列文章目录前言一、elasticdump是什么？

迷茫运维路·2024-09-14 12:47

Hbase - 迁移数据[导出,导入]

>有没有这样一样情况，把一个集群中的某个表导到另一个群集中，或者hbase的表结构发生了更改，但是数据还要，比如预分区没做，导致某台RegionServer很吃紧，Hbase的导出导出都可以很快的完成这些操作

kikiki5·2024-09-14 10:47

redis-shake v4全量增量同步redis数据

它提供以下特性：1）Redis兼容性：RedisShake兼容从2.8到7.2的Redis版本，并支持各种部署方式，包括单机，主从，哨兵和集群。

nangonghen·2024-09-14 07:49

搭建Kafka+zookeeper集群调度

前言硬件环境172.18.0.5kafkazk1Kafka+zookeeperKafkaBroker集群172.18.0.6kafkazk2Kafka+zookeeperKafkaBroker集群172.18.0.7kafkazk3Kafka

krb___·2024-09-14 07:17

命令行工具部署达梦数据库 DMDPC（BP 多副本架构）

解达梦数据库DPC集群的主要使用场景：DMDPC关注和解决的是大数据、计算与存储分离、高可用、支持全部的SQL标准、拥有完整的事务处理能力和集群规模能够动态伸缩的业务场景：大量的复杂查询操作要求优化器能够生成优良的执行计划

百代繁华一朝都-绮罗生·2024-09-14 06:39

DMDPC安装部署

本文是在1台Linux虚拟机上通过创建四个实例的方式进行集群搭建.2.DMDPC集群规划DMD

丷月亮是指路牌·2024-09-14 06:39

大三时MySQL课程设计《MySQL集群的研究与实现》

河南中医学院《MySQL数据库管理》课程设计报告题目：MySQL集群的研究与实现完成日期：2012年12月31日目录1.课程设计题目概述.32.研究内容与目的.33.研究方法.43.1研究方法……………

weixin_30908941·2024-09-14 06:08

DM8 分布计算集群（DMDPC）Docker 命令行部署指南

它不仅保留了传统单机数据库的大部分功能，还提供了分布式计算集群所特有的高可用性、高扩展性、高性能、高吞吐量以及对用户透明等高级特性。本文借助命令行工具部署DPC集群。

69岁法外狂徒·2024-09-14 06:36

【HDFS主从集群】存在两个独立的问题和解决方案

主从集群存在两个独立的问题和解决方案单点“主”的两个独立的问题以下是解决方案HA高可用方案：解决单点故障导致集群整体不可用问题Federation联邦机制：解决NN压力过大问题总结一般很多技术都是主从结构

流辉fglow·2024-09-14 03:48

集群hdfs启动

1）各个模块分开启动/停止（配置ssh是前提）常用（1）整体启动/停止HDFSstart-dfs.sh/stop-dfs.sh（2）整体启动/停止YARNstart-yarn.sh/stop-yarn.sh2）各个服务组件逐一启动/停止（1）分别启动/停止HDFS组件hdfs--daemonstart/stopnamenode/datanode/secondarynamenode（2）启动/停止Y

sxu~源·2024-09-14 03:46

【大型网站技术实践】初级篇：借助LVS+Keepalived实现负载均衡

一、负载均衡：必不可少的基础手段1.1找更多的牛来拉车吧当前大多数的互联网系统都使用了服务器集群技术，集群即将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是Web应用服务器集群，

爱代码也爱生活·2024-09-14 00:57

kubernetes-flannel组件的安装方式

目标容器所在宿主机flannel0->目标容器所在宿主机的docker0虚拟网卡->目标容器文章目录二进制安装flannelyaml文件部署flannel二进制安装flannel一，原有的二进制etcd集群添加配置信息

背锅攻城师·2024-09-13 23:19

Redis安装详解（单机安装，sentinel哨兵模式，Cluster模式）

文章目录1Redis单机安装1.1windows中安装1.2linux中安装2Redis主从复制安装3Redis哨兵模式安装4Springboot项目操作RedisSentinel集群5官方cluster

dream21st·2024-09-13 22:18

Redis Sentinel（哨兵）详解

配置提供三：Sentinel如何检测master节点宕机1.主观下线2.客观下线四：Sentinel是如何选举出新的master1.slave的优先级2.复制进度3.runid五：如何在sentinel集群中选择出

dlwlrma ⥳·2024-09-13 21:12

Dubbo服务自动Web化之路

本文字数：6047字预计阅读时间：40分钟01故障出现事情起源于一次故障，2023年12月14日14点26分，大量Dubbo服务报出异常，无法链接zookeeper集群：Session0x0 for serverdubboZk.xxx.com

搜狐技术产品小编2023·2024-09-13 20:35

深度解析：云原生环境下Docker部署Doris数据库

Doris数据库概述1.Doris数据库特性2.Doris在云原生环境中的应用三、Docker部署Doris数据库1.准备环境2.编写Dockerfile3.使用DockerCompose部署Doris集群

N201871643·2024-09-13 18:23

【2023年】云计算金砖牛刀小试4

容器云问题1.Kubernetes集群支持Pod优先级抢占，通过抢占式调度策略来实现同一个Node节点内部的Pod对象抢占。

geekgold·2024-09-13 17:17

数据库mysql主从哨兵_别找了！Redis主从模式和哨兵模式，这篇看完就足够了

1概述一般的文档，都把redis的集群方式分成三种：主从、哨兵、集群(这里的集群只是广义集群的一种)。

Epic游戏商城·2024-09-13 15:09

推荐频道