分布式存储第9页

Kubernetes中分布式存储Rook-Ceph部署快速演练

最近在项目中有涉及到Kubernetes的分布式存储部分的内容，也抽空多了解了一些。

dotNET跨平台·2023-11-22 00:26

电力感知边缘计算网关产品设计方案-业务流程设计

边缘计算数据通信框架图：2.边缘计算数据处理方案边缘计算智能网关通过获取工业生产加工的原始数据，实现数据实时通信、边缘计算控制、分布式运算、分布式存储、网关数据安全防护等功能，为工业流程生

人生淡然·2023-11-21 22:36

Web3 分布式存储 IPFS（Web3项目一实战之四）

IPFS是一种分布式文件存储协议，它允许世界各地的计算机存储和服务文件作为一个巨大的对等网络的一部分来存储和服务文件。世界上任何地方的任何计算机都可以下载IPFS软件并开始托管和提供文件。如果有人在自己的计算机上运行IPFS，并将文件上传到IPFS网络，那么世界上其他任何运行IPFS的人都可以查看和下载该文件。本地安装IPFS我们可以下载官方已经编译好的二进制文件（安装包）：https://doc

甄齐才·2023-11-21 21:01

Ceph分布式存储系列（一）：Ceph工作原理及架构浅析梳理

一、Ceph简介众所周知，ceph是一种分布式存储系统，是有着“ceph之父”之称的SageWeil读博期间的研究课题，项目诞生于2004年，在2006年基于开源协议开源了Ceph的源代码，在经过了数年的发展之后

诸葛钢铁云·2023-11-21 12:08

分布式架构关键技术

分布式的概念所谓分布式，狭义的指代以Google的三驾马车，GFS、Map/Reduce、BigTable为框架核心的分布式存储和计算系统。

talentluke·2023-11-20 20:53

分布式存储系统Minio

多主机、多硬盘模式（分布式)适合存储大容量非结构化的数据该模式是Minio服务最常用的架构，通过共享一个accesskey和secretkey,在多台（2-32）服务器上搭建服务，且数据分散在多块（大于4块，无上限）磁盘上，提供了较为强大的数据冗余机制（Reed-Solomon纠删码）。

zty_1995·2023-11-20 18:54

dfs hdfs 修改文件名称_第五讲：hadoop的分布式存储HDFS常见操作

HDFS是一个分布式文件系统，像任何其它文件系统，允许用户使用shell命令操作文件系统。首先启动hdfs，启动方式可见上一个博文，或者单独启动hdfs，方式就是运行start-dfs.sh启动成功后，输入jps可以看到至少一个namenode和至少一个datanode和一个jps一、创建路径mkdir如果你的HDFShome目录不存在，则需要创建，我们后续都是用hdfs命令操作。首先cd命令进入

西岸先生·2023-11-20 12:31

四、hdfs文件系统基础操作-保姆级教程

启动集群:start-dfs.sh关闭集群:stop-dfs.sh2、文件系统构成（1）基础介绍其实hdfs作为分布式存储的文件系统，其构成和Linux文件系统构成差不多一样，均是以“/”作为根目录的组织形式

弦之森·2023-11-20 12:20

国产联盟链 Fisco-Bcos 调技术研报告

两翼指的是支持并行计算模型和分布式存储，并行计

smilejiasmile·2023-11-20 11:37

【成长日记】无币区块链，应该了解一些内容

比特币技术中通过分布式存储、共识机制、激励机制这些手段去完成。（三）思考这里面如果没有

能学多少学多少·2023-11-20 08:48

javaapi 访问 hbase

Hbase介绍HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。

数据萌新·2023-11-20 05:35

数据结构与算法之美学习笔记：22 | 哈希算法（下）：哈希算法在分布式系统中有哪些应用？

目录前言应用五：负载均衡应用六：数据分片应用七：分布式存储解答开篇&内容小结前言本节课程思维导图今天，我们再来看剩余三种应用：负载均衡、数据分片、分布式存储。

浊酒南街·2023-11-19 23:43

CnosDB有主复制演进历程

分布式存储系统的复杂性涉及数据容灾备份、一致性、高并发请求和大容量存储等问题。本文结合CnosDB在分布式环境下的演化历程，分享如何将分布式理论应用于实际生产，以及不同实现方式的优缺点和应用场景。

CnosDB·2023-11-19 22:12

GFS分布式文件系统

分布式存储优点：增加存储容量加快读写效率保证文件高可用GFS介绍GFS：glusterFS开源的分布式的文件系统存储服务器，客户端，网络（用NFS/samba组成网关）传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息

aaa.com·2023-11-19 01:19

MySQL InnoDB Buffer Pool 概览

InnoDBBufferPool浅析庄泽超互联网民工／关注分布式存储／数据库内核／wower已关注BufferPool简介InnoDB中的数据访问是以Page为单位的，每个Page的大小默认为16KB，

lixora·2023-11-17 06:37

【系统架构设计】架构核心知识： 3.5 Redis和ORM

目录一Redis1Redis与MemCache2Redis分布式存储方案3Redis集群切片的方式4Redis数据分片

Jackilina_Stone·2023-11-17 04:08

qt实现拓扑图_基于QT的PLC梯形图编辑系统设计与实现

李驰骎王庭有李应春杨安园摘要：为了探索PLC梯形图编辑系统的设计方法，从梯形图编程系统设计需求出发，分析传统梯形图网络的不足，采用一种高自由度的网络拓扑结构描述梯形图网络，并根据该网络拓扑结构提出一种分布式存储方案

weixin_39971172·2023-11-16 08:25

Hadoop的概述

Hadoop是一个基于海量数据的分布式存储和分布式计算

新手小农·2023-11-16 08:46

1.1 Ceph基础及集群的搭建

1.Ceph基础ceph是可靠的、自动重均衡、自动恢复的分布式存储系统。

xiaoyizi311·2023-11-15 15:52

使用cephadm部署单节点ceph集群，后期可扩容（基于官方文档，靠谱，读起来舒服）

使用条件服务器有外网访问能力服务器没有外网访问能力安装cephadmcephadm的功能两种安装方式基于curl安装cephadm各自linux发行版的特定安装方法在部署ceph前先花10分钟给各位看官扫盲（原创）ceph分布式存储的整体架构一些

上海一亩地·2023-11-15 15:16

ceph集群移除物理节点

1.概述ceph分布式存储在生产或者实验环境，经常涉及到物理节点加入或者删除，本文仅对移除物理节点的相关步骤做了操作记录，以方便需要时查阅。

牛角上的男孩·2023-11-15 15:37

算法之哈希算法

哈希函数的应用安全加密唯一标识数据校验散列函数负载均衡数据分片分布式存储问题总结：参考资料前言哈希算法和散列函数其实很多同学可能会混淆，一头雾水，其实散列函数只是哈希算法的一种实践应用。

遇见更好的自己、·2023-11-15 13:35

docker部署Prometheus+Cadvisor+Grafana实现服务器监控

Prometheus1：介绍：Prometheus是一个在SoundCloud上构建的开源系统监视和警报工具包2：特点多维度数据模型-由指标键值对标识的时间序列数据组成；PromQL，一种灵活的查询语言；不依赖分布式存储

huaweichenai·2023-11-15 11:48

谈谈对微服务的理解(PHP面试理论题)

二、出现原因三、体系四、微服务架构的优点五、微服务的缺点六、学习路线简介参考的学习链接微服务设计云原生分布式存储基石：etcd深入解析Docker技术入门与实战每天5分钟玩转Kubernetes左耳听风从

后端常规开发人员·2023-11-15 08:57

“颠覆·挑战·极致”华瑞指数云ExponTech WDS新一代产品重新定义企业存储和数据架构

国内数据存储领域领先厂商华瑞指数云ExponTech自主研发的高性能、高可靠的分布式存储产品ExponTechWDS成为优秀之选11月10日，主题为“颠覆·挑战·极致——重新定义企业存储和数据架构”华瑞指数云

CSDN云计算·2023-11-13 22:23

ceph集群—部署（附错误点解析）

ceph-deploy6.部署ceph集群7.osd共享磁盘服务存储类型：DAS直连存储（satasas）NAS（网络附加存储）sambanfsftp文件系统SAN（存储区域网络）iscsi块（SDS）软件定义存储分布式存储传统的存储

吃饭就用盆·2023-11-13 13:06

分布式存储Ceph部署

分布式存储Ceph1、Ceph简介Ceph使用C++语言开发，遵循LGPL协议开源。SageWeil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。

Ymaint·2023-11-13 13:35

云数据库MongoDB监控指标解读与关注

演讲嘉宾简介：陈柯任（花名：莫归），阿里巴巴高级开发工程师，曾在大众点评从事MongoDB与MySQL相关运维和自动化研发，现主要致力于分布式存储和NoSQL数据库相关领域以下内容根据演讲嘉宾视频分享以及

Winsdons·2023-11-12 13:44

CentOS7下搭建Ceph分布式存储架构

(1).Ceph概述Ceph是为了优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统，并且还是一个开源的分布式文件系统。因为其支持块存储、对象存储，所以很自然的被用做云计算框架openstack或cloudstack整个存储的后端。当然Ceph也可以单独作为存储，例如部署一个集群作为对象存储、SAN存储、NAS存储等。Ceph中文开源社区地址：Ceph中国社区–TheFutureofSto

假面生·2023-11-12 12:52

谈谈桌面虚拟化

“一项好的技术不会消亡，它只是会不断的以新的形式重新出现”--我自己现如今流行的各种热门技术--云计算，大数据，深度学习，分布式存储，等等等等，其实都不是某一年突然从石头里面蹦出来的。

weixin_34200628·2023-11-12 11:26

深入浅出分布式存储的设计与优化之道

随着信息化程度的不断提高，全球数据日益膨胀。面对当前PB级的海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。由于其前瞻性，众多企业都将其作为进军云计算的第一步。分布式文件系统和分布式块存储作为云存储中重要的技术，成为奠定云存储发展的重要基石。对于大多数专注于云计算本身的IT技术人员来说，对分布式文件系统和分布式块存储未

UCloud_TShare·2023-11-12 05:43

一致性算法介绍（二）

1.4.NWRN：在分布式存储系统中，有多少份备份数据W：代表一次成功的更新操作要求至少有w份数据写入成功R：代表一次成功的读数据操作要求至少有R份数据成功读取NWR值的不同组合会产生不同的一致性效果，

狠情·2023-11-11 08:26

云架构师学习------云存储白皮书深入理解

云存储白皮书深入理解行业描述数字经济时代的到来1、基础设施的云化2、核心技术互联网化3、应用数据化和智能化存储行业的变革1、存储服务网络的巨变2、云原生对云存储的新要求3、智能与存储的交相辉映技术产品（阿里云为例）自研分布式存储技术

Avery123123·2023-11-11 03:32

智能物联网时代里信息存储、处理和传输方式的变化浅谈

因此，分布式存储技术将得到更广泛的应用，如区块链技术、云存储技术等。这些技术将使数据存储更加安全、可靠和高效。2、处理方式的变化：物联网设备数量

成都亿佰特电子科技有限公司·2023-11-10 19:08

和数链“分布式存储”技术结合隐私计算让数据更安全

存储是IT业的核心技术，全球存储行业历经半个世纪的洗礼，在技术和需求相互促进的演变下沧桑变幻，经历桌面级存储、企业级存储、云存储多次迭代变迁。目前的存储方式主要是“大数据中心”等集中式存储，随着数据规模和复杂度的迅速增加，数据存储服务日益成为互联网发展的瓶颈，数据存储的安全性受到了极大的挑战。隐私泄露、数据丢失、黑客攻击、传输效率低、存储成本增加等因素，阻碍互联网的进一步发展。随着大数据时代和云计

华南首席酱油官·2023-11-10 17:45

分布式存储-Minio环境搭建

目录简介基于docker环境的minio单机部署docker环境搭建minio环境搭建基于java的文件上传和下载文件上传问题java连接服务端的用户名、密码和端口问题不能连接上Minio服务上传文件权限简介官网：https://docs.min.io/MinIO是一个基于ApacheLicenseV2.0开源协议的轻量级的对象存储服务。适合存储大容量非结构化的数据，如图片、视频、日志文件、备份数

Ning静致远·2023-11-10 09:52

假装得大佬·2023-11-10 06:05

Mac 通过docker安装MinIO

也就是分布式存储。关于MinIO1、MinIO是什么？官方解释：MinIO是一个基于ApacheLicensev2.0开源协议的对象存储服务。

灬囖·2023-11-10 04:54

11-Docker-Redis集群部署

00-前言在工作环境中，我们常常被要求配置多种集群，Redis集群是最常见的入门需要掌握的集群配置方法，在之前的学习中，我们学习掌握了分布式存储的算法，本质上集群的部署就是通过分布式存储算法将数据分发部署好的不同的容器

西瓜太郎呀！·2023-11-10 01:02

10-Docker-分布式存储算法

01-哈希取余算法分区哈希取余分区（HashModulusPartitioning）是一种在分布式计算和数据存储中常用的分区策略，其目的是将数据或计算任务分配到多个节点或服务器上，以实现负载均衡和提高性能。这种分区策略的核心思想是使用哈希函数来将数据或任务的标识（通常是键或标签）映射到一个固定范围的分区中，然后使用取余运算来确定应该分配给哪个分区。使用Python进行哈希取余算法运行代码及结果如下

西瓜太郎呀！·2023-11-10 01:32

Haddop,HDFS和MapDeduce简单理论

HadoopHadoop1Hadoop2HDFS3.MapDeduceHadoop1Hadoop开源的分布式存储+分布式计算平台核心组件：HDFS：分布式文件系统，存储海量数据。

杰KaMi·2023-11-07 06:25

云原生-Ubuntu20.04安装KubeSphere虚拟化（KSV）

存储部分通过K8s的CSI机制，既能对接青云的企业级分布式存储，如QingStorNeonS

平塘码道·2023-11-07 02:44

ceph学习（2）——crush map 故障域划分

接上篇ceph学习（1）——手动部署ceph分布式存储集群（使用本地源离线安装）_ceph安装_jiangxi_的博客-CSDN博客一.环境准备1.三台centos7.5(1804)服务器(node1,

jiangxi_·2023-11-06 19:38

分布式存储ceph：CRUSH算法

作为一个分布式存储系统，如何合理地分布数据非常重要。Ceph系统的许多特性，如去中心化、易扩展性和负载均衡等都和它采用的CRUSH数据分布算法是密不可分的。

souy_c·2023-11-06 19:07

应用ceph文件系统存储(ceph-13.2.10)

版本：操作系统：CentOS7.9ceph版本：ceph-13.2.10名词：Ceph:一个开源的分布式存储系统。Ceph:Cephisadistributedobjectstoreandfilesy

zhangbeizhen18·2023-11-06 18:46

Ceph介绍

目录一、Ceph简介1、Ceph起源2、Ceph特点3、Ceph架构4、Ceph核心组件介绍二、3种存储类型对比1、块存储2、文件存储3、对象存储一、Ceph简介1、Ceph起源Ceph是一个统一的分布式存储系统

桂安俊@kylinOS·2023-11-06 18:41

ELK企业级日志分析系统

●ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过RESTfulWeb接

X_luqi·2023-11-06 18:08

大型互联网技术架构分析之分布式存储(下)

大型互联网技术架构分析之分布式存储(下)2016-07-04erixhao架构师联盟Thelargestsingledatabaseonearth-GoogleSpanner.上文大篇幅介绍了一些分布式存储的理论

Hellowongwong·2023-11-06 02:04

大数据技术中的数据存储

它能够将数据分布在不同的节点上，实现数据的分布式存储和访问。Hadoop分布式文件系统（HadoopDi

幻想世界中的绚丽色彩·2023-11-05 22:58

HBase的详细介绍(概念以及特性)

1什么是hbaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。

随风奔跑之水·2023-11-05 16:35

推荐频道

分布式存储