分布式存储集群服务第3页

Docker基础30--6.4 Docker三剑客之Swarm

6.4Docker三剑客之SwarmDockerSwarm是Docker官方三剑客项目之一，提供Docker容器集群服务，是Docker官方对容器云生态进行支持的核心方案。

暮毅·2024-01-30 20:21

你知道隐私保护在Web3.0中的重要性吗？

敏感的用户数据可以从任何用户平台安全地共享到云端或分布式存储，并通过代理重加密或属性加密自动授予对该数据的访问。在这个过程中，有必要确保数据的可用性。

77920f849a64·2024-01-30 18:45

云原生数据库GaiaDB的核心技术演进

新的技术架构带来新的问题和挑战，GaiaDB在自研过程中采用Quorum分布式协议、高性能网络、高可靠分布式存储引擎等技术实现更高的性能和可用性。

郎岳樟·2024-01-30 14:08

filenet市值将在2023年超过比特币，区块链有ipfs会更好

ipfs的中文名称是“星际文件系统”，它本质上是一种点对点的分布式存储，传输协议

区小楼·2024-01-30 07:35

3步体验在DAYU200开发板上完成OpenHarmony对接华为云IoT

特点：（1）分布式：支持分布式计算和分布式存储，可以在多个设备之间进行任务调度和数据共享。（2）可裁剪：支持根据设备的需求进行裁剪，以满足不同设备的资源限制。（3）安全：提供了安全机制

OpenHarmony_小贾·2024-01-30 06:57

分布式协调服务-zookeeper

数据库、分布式存储无序性进程之间的消息通信，会出现顺序不一致问题分布式环境下面临的问题网络通信网络本身的不可靠性，因此会涉及到一些网络通信的问题网络分区（脑裂）当网络发生异常倒是分布式系统中部分节点之间的网络延时不断增大

猿日记·2024-01-30 01:14

浅析大数据汇总

传统的数据库技术已经无法满足对这些海量数据的存储和处理需求，因此出现了分布式存储和计算技术，如Hadoop、HBase等。

shinelord明·2024-01-29 19:10

HDFS

是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。

VincentLeon·2024-01-29 08:44

redis cluster水平扩容中的客户端处理逻辑

作为一个分布式K-V存储，rediscluster通过将数据切分为16384个slot进行分布式存储，用公式表示如下：作为一个支持水平扩容的分布式系统，redis集群在扩容时通常遵循如下步骤：1.在新节点启动

kakaweb·2024-01-28 22:15

大数据处理系统的架构

Lambda架构的主要组成部分包括：批处理层（BatchLayer）：存储：使用分布式存储系统（如ApacheHadoopHDFS）

demo123567·2024-01-28 14:58

Elasticsearch8.11集群部署

集群就是多个node统一对外提供服务，避免单机故障带来的服务中断，保证了服务的高可用，也因为多台节点协同运作，提高了集群服务的计算能力和吞吐量。

liujiangxu·2024-01-28 05:53

SSH无密码登录

免密登录的目的在搭建Linux集群服务的时候，想在master或者跳板机上执行远程命令的时候,我们需要一遍一遍的属于密码,如果是编写脚本的话,我们还需要利用expect工具自动实现交互任务,这在实际生产环境当中是相当耗时的

bern85·2024-01-27 23:46

etcd技术解析：构建高可用分布式系统的利器

2.etcd简介etcd是一个开源的、分布式的键值存储系统，使用Go语言编写，基于Raft一致性算法实现数据的分布式存储和管理。它主要用于在分布式系统中存储配置信息、元数据等关键数据，提供了强

Memory_2020·2024-01-27 20:38

apache 前30个开源项目

个具有代表性的项目序号项目名称功能描述业务范围活跃度（参考性描述）1ApacheHTTPServer高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架大数据处理非常活跃

临水逸·2024-01-27 17:35

Ceph分布式存储自动化运维平台开发实践

文章目录1.背景介绍1.1什么是Ceph？1.1.1Ceph的核心组件1.1.2Ceph的优势1.2自动化运维的需求目标2.平台架构设计和组件版本2.1平台架构设计2.2组件版本2.3模块划分（已经脱敏处理）2.3.1当前版本V1.0支持功能2.3.2前后端代码结构tree图2.3.3工作流程2.3.4模块算法和处理逻辑（举几个典型场景）2.3.4.1自动对因高危场景停止的osd降低权重至x%2.

抛物线.·2024-01-27 12:34

Java高级技术之RabbitMQ生产故障问题分析

1、问题引发由某个服务BI-collector-xx队列出现阻塞，影响很整个rabbitMQ集群服务不可用，多个应用MQ生产者服务出现假死状态，系统影响面较广，业务影响很大。

就要学Java·2024-01-27 12:54

Oracle RAC集群启停

停止节点上的OracleGridInfrastructure服务3、启动节点上的OracleGridInfrastructure服务4、启动OracleRAC数据库实例三、RAC集群启停1、停止数据库2、停止集群服务

不会编程的喵星人·2024-01-27 11:05

（九）centos7案例实战——redis一主二从三哨兵高可用服务搭建

需要注意的是搭建集群的过程中，我们要保证集群服务器之间可以相互访问，并且redis所需要访问的端口是开放的。

北溟溟·2024-01-26 14:40

一文了解Ceph原理以及常见ceph指令

一、Ceph介绍什么是分布式存储？与集中式存储相反，分布式存储通常采用存储单元集群的形式。并且具有在集群节点之间进行数据同步和协调的机制。

听说唐僧不吃肉·2024-01-26 13:08

二 Ceph存储工作原理及实现

认识Cephceph是一个能提供文件存储，快存储和对象存储的分布式存储系统。

假面生·2024-01-26 13:38

什么是超融合？

二、超融合原理2.1、超融合三大组件2.2、超融合和传统架构对比2.3、传统方案和超融合软件架构与资源管理模式对比三、超融合与SDS、分布式存储关系3.1、SDS是什么？3.2、分布式存储是什么？

IT搬砖我最拿手·2024-01-26 11:27

从Elasticsearch来看分布式系统架构设计

这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。我们先来简单看下Elasticsearch的架构。

大叶子不小·2024-01-26 10:11

教你三步实现CDH到星环TDH的平滑迁移

TranswarpDataHub（TDH）是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层

星环科技·2024-01-26 07:08

2023年第十六届中国系统架构师大会（SACC2023）：核心内容与学习收获（附大会核心PPT下载）

大会按照技术主线分为传统架构与运维技术发展（高可用架构、云架构、分布式存储、预测性智能运维）、数字化转型企业架构应用（金融行业与制造业）、IT技术前瞻架构（分布式与微服务架构、

百家峰会·2024-01-25 07:57

万物皆世界，人人得智慧

我对王欣师兄的“一图显世界”的思考：图片发自App《万物皆世界人人悟智慧》在大数据、云计算、AI、物联网、区块链的深度普及基础上，区块链作为一个“分布式存储与个体价值体现”的最好技术革新，以比特币为载体迅猛的来到了人们面前

众心无相·2024-01-24 18:02

DockerSwarm里集群服务间通信

RoutingMeshInternalIngressRoutingMesh是集群服务之间的通讯技术主要包括2方面Internal和IngressInternalContainer和Container之间的访问通过

sissie喵~·2024-01-24 18:47

从数据处理到规模化应用

HashData等现代数据仓库解决方案具有以下特点：高性能：通过分布式存储和计算技术，HashData能够提供高吞吐量和低

百度_开发者中心·2024-01-24 16:14

ELK 企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。

睡美人章繁·2024-01-24 14:54

Mysql数据库主从复制和分库分表浅析

内容提供：李智慧，前阿里巴巴技术专家，《大型网站技术架构》作者分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。

一颗向上的草莓·2024-01-24 11:30

分布式存储mysql

搭建两从两主服务器再搭建一台mycat启动mycat1.创建添加数据源将后端数据库服务器添加到mycat上面,以便管理和代理,让mycat和mysql建立连接添加方法如下59只实现写60只实现读61实现写62实现读MySQL>/*+mycat:createdatasource{"name":"dw0","url":"jdbc:mysql://192.168.88.59:3306","user":"

CN_HW·2024-01-24 08:47

从字节跳动面试中快速胜出：五天三面，这份Java面试笔记功不可没

（开放地址法，不是很了解，听过）如果使用hash进行分布式存储有什么弊端？（可扩展性不强，例如增加节点和节点宕机的情况）如何解决？

技术琐事·2024-01-24 01:16

分布式存储

1存储基础1.1单机存储设备DAS（直接附加存储，是直接接到计算机打的主板总线上去的存储）UDE、SATA、SCSI、SAS、USB接口的磁盘所谓的接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储NFS、CIFS、FTP文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机进

王德发666·2024-01-23 16:16

Nacos 高级详解

一、服务集群1需求服务提供者搭建集群服务调用者，依次显示集群中各服务的信息2搭建1）修改服务提供方的controller，打印服务端端口号packagecom.czxy.controller;importorg.springframework.web.bind.annotation

薛慕昭·2024-01-23 10:27

CentOS 7部署 Ceph分布式存储架构

SE4nJH1.概述随着OpenStack日渐成为开源云计算的标准软件栈，Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph官方文档http://docs.ceph.org.cn/ceph中文开源社区http://ceph.org.cn/Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然

大帅同学·2024-01-23 09:48

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台

Cool_Pepsi·2024-01-23 02:42

关于云计算你必须知道的一些事（一）

软件定义分布式存储是

money666·2024-01-22 19:17

架构师的36项修炼-09架构实战案例分析

2.分析一个分布式存储的架构案例，看如何去设计一个分布式存储系统，底层存储系统的架构是如何设计的。3.分析一个反应式编程框架的架构案例，看开发框架的架构是如何设计的。这三类系统架

机智阳·2024-01-22 18:07

搭建共享磁盘nfs

文章目录前言一、安装二、挂载目录1.新建目录2.配置3.启动三、客户端挂载1.安装2.查看nfs主机共享情况3.客户端挂载4.查看挂载情况5.开机自动挂载四、客户端卸载总结前言共享磁盘可以让集群服务器的共享目录

你知道“铁甲小宝”吗丶·2024-01-22 15:14

容器与持久化存储:容器的开源分布式存储方案选型

导读：容器得到了越来越广泛的使用，以下问题困扰架构师：容器正逐渐成为云上应用的标准部署单元，容器该如何解决持久化存储的需求？容器编排系统已成当红炸子鸡，在无状态的容器中，存储系统面临哪些新的挑战？容器与持久化存储系统是融合架构还是分离架构？本文探讨了容器和持久化存储相关知识，由张朝潞在高可用架构群分享，转载请注明来自高可用架构公众号ArchNotes。张朝潞有容云平台存储架构师张朝潞，有容云平台存

高可用架构·2024-01-22 14:50

容器与持久化存储：容器的开源分布式存储方案选型

曾工作于UIT、华三、腾讯、专注分布式存储的研究和开发，对云计算存储解决方案方面有很深的技术造诣和行业理解。一．容器对存储插件的定义以Docker为例，Doc

weixin_33805743·2024-01-22 14:48

k8s-ingress-nginx搭建

前者个人理解是一种集群中服务之间访问控制策略后者是client访问集群时得一种方式如下图思维导图（部署方式不同，略有差别）暴露服务还分几种方式一.Deployment+LoadBalancer模式的Service客户端不能直接访问集群服务

大鹅i·2024-01-22 13:34

看看关系型数据库是怎么吊打Hadoop的

所以在不少架构中，会看到使用ETL的方式将数据库送到Hadoop中，使用其分布式存储和分布式计算的特点来进行分析。

薛晓刚·2024-01-22 02:58

mysql aa复制_MySQL主从复制与主主复制

采用MySQL分布式集群，能够搭建一个高并发、负载均衡的集群服务器(这篇博客暂时不涉及)。在此之前我们必须要保证每台MySQL服务器里的数据同步。数据同步我们可以通过

weixin_39989443·2024-01-21 22:37

Hbase笔记

ApacheHBase是一个开源的，分布式的，版本化的非关系数据库，模仿Google的Bigtable：Chang等人的结构化数据分布式存储系统。正

MFRain·2024-01-21 20:24

消息中间件之Kafka(二)

1.commitlog文件会受到所在机器的文件系统大小的限制，分区之后可以将不同的分区放在不同的机器上，相当于对数据做了分布式存储，理论上一个topic可以处理任意数量的数据2.提高并行度1.2如何在多个

coffee_babe·2024-01-21 16:04

Ceph分布式存储部署

目录一、存储1、存储基础2、NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）3、SAN（存储区域网络）4、单机存储的问题5、商业存储解决方案6、分布式存储（软件定义的存储SDS）7、分布式存储的类型二

睡美人章繁·2024-01-21 16:26

分布式存储赛道群雄逐鹿：Filecoin「友商」盘点

Crust实现了去中心化存储的激励层协议，适配包括IPFS在内的多种存储层协议，并对应用层提供支持。同时Crust的架构也有能力对去中心化计算层提供支持，构建分布式云生态。有市无币的FIL一路高涨。据MyToken数据显示，FIL近3月涨幅达308.19%。在主网上线时间几经推迟后，据Filecoin最新的官方回应，「预产期」定在了8月31日——9月21日，这个预期带动了整个市场。目前，包括Gat

Crust分布式云·2024-01-21 09:40

Docker部署高性能分布式存储MinIO

文件存储系统，相比FastDFS使用MinIO易上手，可扩展，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。优势:1.Minio有良好的存储机制2.Minio有很好纠删码的算法与擦除编码算法3.可向大数据方面过渡4.docker搭建非常方便适用场景:1.对象存储2.文件服务器原理：MinIO分布式集

抹香鲸之海·2024-01-20 21:27

[ELK] ELK企业级日志分析系统

●ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过RESTfulWeb

为什么老是名字被占用·2024-01-20 12:34

FastDFS之快速入门、上手

分布式存储：资源存储在多个服务器，这个存储资源构成一个虚拟的存储设备。常见的DFSFastDFS：开源的轻量级分布式文件系统；HD

微风至夏·2024-01-20 12:03

推荐频道

分布式存储集群服务