GridFS分布式存储第20页

分布式存储极简艺术Minio解析

简介 MinIO对象存储系统是为海量数据存储、人工智能、大数据分析而设计，基于ApacheLicensev2.0开源协议的对象存储系统，它完全兼容AmazonS3接口，单个对象的最大可达5TB，适合存储海量图片、视频、日志文件、备份数据和容器/虚拟机镜像等。作为一个开源服务，MinIO在设计上汲取了Glusterfs的相关经验不教训，系统复杂度上作了大量简化，目前大小只有40+M，部署只需要一个命

魂之挽歌w·2023-07-17 08:11

Ceph分布式存储系统

Ceph分布式存储系统一、存储基础1、单机存储设备2、单机存储的问题二、分布式存储（软件定义的存储SDS）1、分布式存储介绍2、分布式存储的类型3、Ceph简介4、Ceph优势5、Ceph架构6、Ceph

南山桥木·2023-07-17 07:47

ceph集群（一）

ceph一、存储基础分布式存储（软件定义的存储SDS）二、Ceph简介Ceph优势Ceph架构Ceph核心组件OSD存储后端Ceph数据的存储过程Ceph集群部署三、基于ceph-deploy部署Ceph

不会≠趴菜·2023-07-17 07:46

区块链概述

1.概述区块链技术是指通过去中心化和去信任的方式集体维护一个可靠数据库的技术，包含“区块+链”的数据结构，分布式存储，加密算法，共识机制四大核心技术。

aeborah·2023-07-17 03:23

纠删码--分布式存储数据备份

什么是纠删码ErasureCode（简称EC），即纠删码，是一种前向错误纠正技术（ForwardErrorCorrection，FEC），主要应用在网络传输中避免包的丢失，存储系统利用它来提高存储、可靠性。相比多副本复制而言，纠删码能够以更小的数据冗余度获得更高数据可靠性，但编码方式较复杂，需要大量计算。纠删码只能容忍数据丢失，无法容忍数据篡改，纠删码正是得名与此。EC的定义：ErasureCod

blockchain_yhj·2023-07-16 21:00

MongoDB分布式存储GridFS

MongoDB分布式存储GridFS项目结构图配置文件pom.xmlorg.springframework.bootspring-boot-starter-data-mongodbapplication.ymlserver

只因为你而温柔·2023-07-16 10:22

分布式存储系统（Ceph）基础

存储基础存储设备DAS：IDE、SATA、SCSI、SAS、USBNAS：NFS、CIFSSAN：SCSI、FCSAN、iSCSI存储内容包括元数据和数据，名称节点（NameNode）存放元数据，数据节点（DataNode）存放实体数据。元数据节点通常将随机IO转换为顺序IO进行存取，参考redis的AOF机制。高可用主从复制或者冗余备份CephCeph是一个对象式存储系统，它把每一个待管理的数据

WihauShe·2023-07-16 09:37

【分布式】ceph存储

目录一、存储基础单机存储设备单机存储的问题商业存储解决方案二、分布式存储（软件定义的存储SDS）分布式存储的类型Ceph优势Ceph架构Ceph核心组件Pool中数据保存方式支持两种类型：Pool、PG

苗苗奶黄包.·2023-07-16 08:02

【技术分享】探索对象存储：高效、安全、可靠的数据存储解决方案

对象存储是一种分布式存储架构，以对象为基本存储单位，具备可扩展性、可靠性和灵活性等优势。本文将详细探讨对象存储的核心概念和使用方式。

DevCorner·2023-07-15 22:50

搭建Promethues + grafana +alertManager+blakbox 监控springboot 健康和接口情况

特点：具有由指标名称和键/值对标识的时间序列数据的多维数据模型PromQL，一种灵活的查询语言，可利用此维度不依赖分布式存储;单服务器节点是自治的时序收集通过HTTP上的拉取模型进行通过中间网关

@chenk·2023-07-15 20:19

【系统架构】分布式系统架构设计

与单个计算机相比，分布式系统具有更高的可扩展性、可靠性和性能等优势，因此广泛应用于大规模数据处理、高并发访问、分布式存储等领域。

颜淡慕潇·2023-07-15 19:59

云原生之深入解析分布式存储系统Ceph的环境部署和实战操作

Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)，Ceph在存储的时候充分利用存储节点的计算能力

╰つ栺尖篴夢ゞ·2023-07-15 17:11

hdfs概述

目录一：分布式存储二：分布式存储介绍（1：在分布式存储系统中，分散在不同节点中的数据可能属于同一个文件。（2：集群中不同的节点承担不同的职责。

山海自有归期·2023-07-15 16:21

【Distributed】分布式Ceph存储系统

文章目录一、存储基础1.单机存储设备1.1DAS1.2NAS1.3SAN1.4单机存储的问题1.5商业存储解决方案2.分布式存储（软件定义的存储SDS）分布式存储的类型3.Ceph简介4.Ceph优势5

我的宝贝大唐·2023-07-15 13:43

分布式运用——存储系统Ceph

分布式运用——存储系统Ceph一、Ceph介绍1.Ceph简介2、存储基础2.1单机存储设备2.2单机存储的问题2.3商业存储解决方案2.4分布式存储（软件定义的存储SDS）2.5分布式存储的类型3.Ceph

赤壁战神曹阿瞒·2023-07-15 12:25

【分布式应用】ceph分布式存储

目录一、存储基础1.1单机存储设备1.2单机存储的问题1.3分布式存储的类型二、Ceph简介2.1Ceph优势2.2Ceph架构2.3Ceph核心组件OSD（ObjectStorageDaemon，守护进程

DDD嘀嘀嘀·2023-07-15 11:49

Ceph 存储（最详细！）

）NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）（3）SAN（存储区域网络）2、单机存储的问题（1）存储处理能力不足（2）存储空间能力不足（3）单点故障问题3、商业存储解决方案4、分布式存储

努力拱破蛋壳的猪·2023-07-15 11:14

Linux5.97 Ceph集群

文章目录计算机系统5G云计算第四章LINUXCeph集群一、Ceph1.存储基础1）单机存储设备2）单机存储的问题3）商业存储解决方案4）分布式存储（软件定义的存储SDS）5）分布式存储的类型2.Ceph

wfwj_·2023-07-15 11:43

k8s中分布式存储器longhorn的安装

条件：[root@k8s-masterlonghorn]#kubectlgetnodes-owide#K8S集群一个NAMESTATUSROLESAGEVERSIONINTERNAL-IPEXTERNAL-IPOS-IMAGEKERNEL-VERSIONCONTAINER-RUNTIMEk8s-masterReadycontrol-plane,master27dv1.23.8192.168.186

qq759035366·2023-07-15 08:16

Hadoop期末复习—必备知识

价值密度低3：在零售行业的应用：精准定位零售行业市场；支持行业收益管理；挖掘零售行业新需求；Hadoop：1：Hadoop优势：高效率可靠性成本低扩容能力强高容错性2：Hadoop生态系统：分布式文件系统、分布式存储系统

Recently 祝祝·2023-07-15 07:09

ETCD中的分布式设计思想和WAL

分布式存储：etcd使用分布式存储来存储数据。数据被分散存

卢延吉·2023-07-15 03:37

【LDAP】LDAP注入漏洞与防御

随着互联网的广泛使用，web应用的数量呈爆炸式的增长，而这些应用的资源和数据呈分布式存储于目录中。

XINO丶·2023-07-15 01:14

8.分布式存储

文章目录分布式存储存储基础单机存储设备单机存储的问题分布式存储（软件定义的存储SDS）分布式存储的数据类型总结CephCeph概念Ceph优势Ceph架构Ceph核心组件OSD存储后端Ceph数据的存储过程

夜海赤竹·2023-07-15 00:02

ceph--cephFS的使用

ceph分布式存储—cephFS的使用1、cephfs的概念cephFS即cephfilesystem，可以实现文件系统共享功能,客户端通过ceph协议挂载并使用ceph集群作为数据存储服务器。

优质&青年·2023-07-14 19:47

关于CEPH的简单畅谈

CEPH是什么CEPH是一个先进的分布式存储系统，它具有高度可靠性、可扩展性和性能。CEPH旨在解决传统存储系统中存在的诸多挑战，如单点故障、难以扩展、数据丢失风险等。

IT小辉同学·2023-07-14 18:47

分布式ELK 企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过RESTfulWeb接口

瓜皮小菜·2023-07-14 18:40

NDN Protocol 介绍

一、简介NDNProtocol是基于NDNLink网络和区块链技术的分布式存储聚合协议,其核心功能是数据流量预言机和数据交易撮合，进而在NDNLink网络中完成安全高效的数据路由和传输。

币圈三少·2023-07-14 16:19

Apache Kudu

ApacheKudu是一种开源的分布式存储和分析引擎，它可以快速地存储和分析大规模的结构化数据。

ItisNagatoYuki·2023-07-14 13:14

ELk日志平台搭建

2.组件●ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过R

尴尬的只有别人·2023-07-14 12:33

【Hadoop 01】简介

1Hadoop简介Hadoop适合海量数据分布式存储和分布式计算Hadoop3.x的细节优化：Java改为支持8及以上HDFS支持纠删码HDFS支持多NameNodeMR任务级本地优化多重服务默认端口变更

不菜不菜·2023-07-14 11:56

ELK 企业级日志分析系统

ElasticSearch、Logstash和Kiabana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求2）ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎

狮子跑了·2023-07-14 10:37

直播 | SDS 容灾方案，让制品数据更安全

近日，腾讯CODINGWePack制品管理系统V1以及腾讯CODINGDevOps研发效能管理平台V7与XSKY星辰天合的统一数据平台XEDP及天合翔宇分布式存储系统完成互相兼容认证，在数据层面满足了共同客户敏捷开发的高可用建设合规要求

腾云 CODING·2023-07-14 09:11

什么是CDN？对前端有什么好处？

①“分布式存储”：将中心平台的内容分发到各地的边缘服务器，使用户能够就近获取所需内容，降低网络用时，提高用户访问响应速度和命中率。利

小草莓蹦蹦跳·2023-07-14 08:58

如何系统学习分布式？

python小小Q·2023-07-14 03:58

HHU云计算期末复习（上）Google、Amazon AWS、Azure

云计算2.1Google文件系统（GFS）2.2MapReduce和Hadoop2.3分布式锁服务Chubby2.4分布式结构化数据表Bigtable存储形式主服务器子表Bigtable相关优化技术2.5分布式存储系统

丸丸丸子w·2023-07-13 21:54

checkpoint 机制具体实现示例详解

目录checkpoint机制的具体实现BackNode节点冷备份checkpoint的实现checkpoint机制的具体实现我们都知道为了优化分布式存储系统中NameNode的重启性能，我们引进了checkpoint

·2023-07-13 16:20

Ulord链云生态-再读Ulord白皮书 3.0

而结合区块链技术的分布式存储开启了去中心化云服务的新时代。Ulord链云存储生态利用区块链技术+共享模式

李磊ulord广州社区·2023-06-24 08:48

k8s 集群部署尝试

部署简单方便且高效二进制源码包的部署方式使用二进制源码包的方式部署会比较麻烦，大概分为如下几步：获取源码包部署在master节点和worker节点上启动相应节点的关键服务master节点上api-server，分布式存储例如

·2023-06-24 00:06

【性能设计篇】数据库拓展

前两篇文章介绍了分布式存储的机制，为保证数据的高性能以及可拓展，采用分片/分区机制。为保证数据的高可用性，采用复制/镜像机制存储数据。一份数据存储多份。而这两种方式在数据中，就是分片/分区机制。

qxlxi·2023-06-23 12:54

BNB Greenfield 成存储赛道“新贵”，BNB 生态的野心与破局

在今年的2月1日，币安发布了分布式存储链BNBGreenfield，根据白皮书信息，它的特别之处在于其不仅具备基于SP（分布式存储商，可以理解为存储节点）获得的分布式存储的能力，它还具备可编程可计算的能力

区块链小八歌·2023-06-23 04:59

COS对象存储

title:COS对象存储什么是对象存储腾讯云叫COS，在阿里云叫OSS，是一样的对象存储（CloudObjectStorage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，具有高扩展性、低成本

l10711097061·2023-06-22 23:38

哈希算法原理与应用：确保数据完整性和安全性的关键技术

哈希算法的应用广泛，例如在密码学中用于验证数据完整性和数字签名，也用于检索数据和进行散列分布式存储。下面将详细介绍哈希算法的原理和应用。

蓝色心灵-海·2023-06-22 19:12

es知识点一

针对于es的语言的学习es是由java编写的，restfullapihttp+json支持分布式存储，每个字段被索引，被搜索基于lucene的强大的全文搜索能力可以实时搜索和聚合分析，自动发现新的和失败的节点

苗苗大佬·2023-06-22 16:15

HPC-CAE应用场景下文件读写IO分析

我们需要分别测试三种条件下文件的写效率：本地文件读写，本地都是SSD设备万兆网络，通过NFS共享方式，A共享文件夹，B作为客户端向文件夹中写文件万兆网络，通过Beegfs分布式存储，A提供存储空间，B作为客户端向存储中写入文件测试工具

wolfwolfgod·2023-06-21 22:31

再谈全局网HBase八大应用场景

另外由于自身的并发能力、存储能力，可以说是具有最为竞争力的引擎HBase概述HBase是一个分布式存储、数据库引擎，可以支持千万的QPS、PB级别的存储，这些都已经在生产环

·2023-06-21 20:57

TBB 开源库及并发 Hashmap 的使用

康俊老师在Raft一致性协议优化、分布式存储与调度、高可用双活容灾、多Region地理分区等分布式处理模块研发领域具备丰富经验，现负责KaiwuDB基础数据结构研发与设计。

KaiwuDB·2023-06-21 11:27

【分布式】分布式存储架构

文章目录一、集中存储结构二、分布式存储2.1、分布式存储的兴起2.2、分布式存储的重要性2.3、分布式存储的种类和比较三、分布式理论浅析3.1、一致性和可用性3.2、数据分布哈希分布（Swift）顺序分布

逆流°只是风景-bjhxcc·2023-06-21 06:16

分布式存储Swift原理分析

在“分布式系列之分开源分布式存储技术分析”中曾提到swift是完全无中心架构，采用一致性哈希算法获得数据的位置。

solihawk·2023-06-21 02:33

分布式存储技术解读系列之三：Swift | 架构进阶

1.什么是Swift？首先，我们从OpenStack的官方网站上，可以看到Swift的定义：“TheOpenStackObjectStoreproject,knownasSwift,offerscloudstoragesoftwaresothatyoucanstoreandretrievelotsofdatawithasimpleAPI.It'sbuiltforscaleandoptimizedf

米朵儿技术屋·2023-06-21 02:32

阿里云中块存储、对象存储、文件存储区别

块存储可以作为云盘挂载到云服务器实例上，也可以作为分布式存储系统使用。对象存储（ObjectStorage）：以对象为单位进行存储，适用于海量数据的存储、管理和访问。

MM不要山·2023-06-20 22:47

推荐频道

GridFS分布式存储