分布式存储第26页

Rook 1.5.1 部署Ceph实操经验分享

它实现了一个自我管理的、自我扩容的、自我修复的分布式存储服务。Rook支持自动部署、启动、配置、分配（provisioning）、扩容/缩容、升级、迁移

victoruu·2023-04-01 10:47

基于Rook+Ceph的云原生存储架构剖析

【摘要】Rook是一款云原生存储编排服务工具，Ceph是一种广泛使用的开源分布式存储方案，通过Rook可以大大简化Ceph在Kubernetes集群中的部署和维护工作。

宋罗世家技术屋·2023-04-01 09:00

大数据原理-关键技术

大数据时代大数据的由来关键核心技术计算模式大数据的由来关键核心技术计算模式大数据的由来：4V大数据量、繁多的数据类型、处理数据的速度快、价值密度低使得出现了大数据时代关键核心技术：分布式存储（HDFS、

monster++·2023-04-01 08:19

软考高级系统架构设计师：MemCache和Redis

软考高级系统架构设计师：MemCache和Redis一、Redis和MemCache的区别二、Redis与关系型数据库同步方案三、Redis分布式存储常见方案四、Redis集群切片的几种常见方式一、Redis

最笨的羊羊·2023-04-01 06:37

架构对话架构师：亿级短视频社交美拍架构实战

个人擅长性能调优、高可用中间件、分布式存储、IM等相关领域。“在美拍的服务化过程中，主要基于etcd来实现我们的

yicaifenchen8·2023-04-01 04:15

大数据Hadoop入门03——HDFS分布式文件系统基础

是ApacheHadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在。也可以说大数据首先要解决的问题就是海量数据的存储问题。HDFS主要是解决大数据如何存储问题的。

程序猿七度·2023-04-01 02:55

OSS对象存储是什么？

对象存储OSS是在云上提供无层次结构的分布式存储产品，为用户提供单价较低且快速可靠的数据存储方案。用户可通过云服务器实例或互联网使用WebAPI接口存储和检索数据。

xiaoqingkkidc·2023-03-31 23:37

Hbase存储原理 - Region/Store/StoreFile/Hfile之间的关系

Region是HBase中分布式存储和负载均衡的最小单元，即不同的region可以分别在不同的RegionServer上，但同一个Region是不会拆分到多个server上。

ratnik·2023-03-31 22:28

分布式数据库Hbase

HBase来源Hbase是BigTable的开源实现BigTable：分布式存储系统，最初是为了解决在大量数据下互联网的搜索问题特点：（1）架构在GFS上，使用GFS作为底层数据存储；（2）利用谷歌的MapReduce

雨漪人·2023-03-31 22:26

背后的力量 | 加强数字政府建设华云数据助力华中某省民政厅提升便民服务能力

华云数据（微信号：chinac_com）作为中国领先的综合云计算专家，为其打造新一代分布式存储体系，依托华云分布式存储软件，助

互联网科技、·2023-03-31 18:07

手摸手部署IPFS(星际文件系统)

也要看一看备受推崇的IPFS,UniSwap的前端项目uniswap-interface就是基于此部署的简介官网地址,星际文件系统（InterPlanetaryFileSystem，缩写IPFS）是一个旨在创建持久且分布式存储和共享文件的网络传输协议

小僵尸打字员·2023-03-31 16:17

IPFS - 可快速索引的版本化的点对点文件系统（草稿3）

在某些方面，IPFS类似于web,但web是中心化的，而IPFS是一个单一的Bittorrent群集，用git仓库分布式存储。

weixin_30398227·2023-03-31 15:54

使用 Docker 安装 IPFS 星际文件系统

IPFS简介IPFS:InterPlanetaryFileSystem，星际文件系统.技术关键词:持久化分布式存储去中心化共享文件节点GitDHTs哈希区块链P2PBitTorrent存储特性使用存储对象的哈希值来获取对象内容

李苏珂·2023-03-31 15:48

星际文件系统(InterPlanetary File System，缩写IPFS)

星际文件系统(InterPlanetaryFileSystem，缩写IPFS)是个旨在创建持久且分布式存储和共享文件的络传输协议。它是一种内容可寻址的对等超媒体分发协议。

噫嘘嘻·2023-03-31 15:07

区块链：一种新的数据传输方式

分布式存储、加密算法、共识机制，作为一种集成融合创新技术，区块链的本质是什么？可能到现在在很多人心中还是充满争论。

BSN研习社·2023-03-31 15:33

Clickhouse架构与设计

多个节点通过网络进行连接，协同工作，完成相同的任务（分布式存储，分布式计算）每个节点只访问自己的本地资源（内存、存储等）它

大数据研习社·2023-03-31 14:59

分布式存储学习——HDFS

简介 HDFS(HadoopDistributedFileSystem)是一种分布式文件系统，属于非结构化的分布式存储类型。

yindarui·2023-03-31 09:37

分布式存储之GlusterFS

1.glusterfs概述GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设计，让整个服务没有单点故障的隐患。当客户端访问GlusterFS存储时，首先程序通过访问挂载点的形式读写数据，对于用户和程序而言，集群文件系统是透明的，用户和程序根本感觉不到文件系统是本地还是在远程服务器上

学有境·2023-03-31 09:00

HDFS原理与应用

其中Client端通过协议访问层与Server端通讯分布式存储系统有对象存储、文件存储、块存储和数据库HDFS功能特性：分布式：受GFS启发，用Ja

Popcorn丶30·2023-03-31 09:10

ELK-B简述和架构分析

是一个轻量型的日志收集处理工具，FileBeat占用的资源少，适合在各个服务器上搜集日志后传输给Logstash；二、ELK-B介绍Elasticsearch简称ES，是一个基于Lucene的、支持全文索引的分布式存储和索引引擎

Sinder_小德·2023-03-31 07:32

Prometheus 简介与架构

操作简单，可以随时随地部署监控服务，甚至在本地工作站上，而无需设置分布式存储后端或重新配置环境。可扩展的数据收集和分散的架构，以便于可以可靠的监控服务的许多实例，独立团队可以

富士康质检员张全蛋·2023-03-31 03:52

Prometheus组件详解

Prometheus简介Prometheus的主要特征有：1.多维度数据模型2.灵活的查询语言3.不依赖分布式存储，单个服务器节点是自主的4.以HTTP方式，通过pull模型拉去时间序列数据5.也通过中间网关支持

我的紫霞辣辣·2023-03-31 03:30

大数据技术及应用—Hadoop 基础笔记

Hadoop采用分布式存储和并行执行机制,为整个数据群带来了非常高的宽带,因此能大大提高效率。Hadoop事实上是用大量的廉价机器组成的集群去执行大规模运算,这包括大规模的计算和大规模的存储。

佳钰小甜心·2023-03-30 23:59

大数据技术原理与应用（第一章，大数据概述）

目录1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术分布式存储分布式并行处理技术1.5大数据与云计算、物联网的关系1.5.1云计算云计算数据中心1.5.2物联网（TheInternetofThings

m0_37607242·2023-03-30 23:18

Redis分布式缓存集群环境搭建(手动搭建)

Redis集群简介RedisCluster即Redis集群，是Redis官方在3.0版本推出的一套分布式存储方案。完全去中心化，由多个节点组成，所有节点彼此互联。

程序小达人·2023-03-30 20:03

Hadoop概述以及HDFS、YARN、MapReduce的架构分析和Hadoop的特点

文章目录Hadoop概述什么是Hadoop：分布式存储框架：HDFS分布式计算框架：MapReduce资源调度和管理平台：YARNHadoop的版本HDFS架构分布式存储介绍HDFS架构分析YARN架构分析

被迫内卷的学习记录·2023-03-30 20:12

分布式架构

对大型互联网系统而言，主要包括缓存、异步、分布式存储、微服务等；第三、架构方面：考虑点主要包括高可用、高性能、高扩展这三

你是怎么睡得着觉的·2023-03-30 20:37

ceph简介

ceph是⼀种分布式存储系统，可以将多台服务器组成⼀个超⼤集群，把这些机器中的磁盘资源整合到⼀块⼉，形成⼀个⼤的资源池（⽀持PB级别，大厂用得多），然后按需分配给客户端应⽤使⽤。

唏噗·2023-03-30 19:44

你一定要了解的分布式储存

最近分布式存储项目频繁出现在我们的视野中，分布式储存指的是什么？有什么优点值得大家关注？分布式储存项目值得我们的期待吗？

BB小九菜123·2023-03-30 18:37

连你女朋友都能看懂的分布式架构原理！

黄金搭档：分布式存储+分布式计算这篇文章聊一个话题：什么是分布式计算系统？一、从一个新闻门户网站案例引入现在很多同学经常会看到一些名词，比如分布式服务框架，分布式系统，分布式存储系统，分布式消息系统。

石杉的架构笔记·2023-03-30 15:56

面试官让我聊聊 MQ 的数据丢失问题，没想到水这么深。。。

目录一、背景引入二、Kafka分布式存储架构三、Kafka高可用架构四、画图复现Kafka的写入数据丢失问题五、Kafka的ISR机制是什么？六、Kafka写入的数据如何保证不丢失？

石杉的架构笔记·2023-03-30 15:56

Alluxio安装部署

简介Alluxio是世界上第一个虚拟的分布式存储系统，以内存速度统一了数据访问。它为计算框架和存储系统构建了桥梁，使应用程序能够通过一个公共接口连接到许多存储系统。

weixin_47924795·2023-03-30 14:20

Alluxio-基于内存的虚拟分布式存储系统

什么是AlluxioAlluxio是世界上第一个虚拟的分布式存储系统，它为计算框架和存储系统构建了桥梁，使计算框架能够通过一个公共接口连接到多个独立的存储系统,使计算与存储隔离。

机器爱上学习·2023-03-30 13:53

你不知道的开源分布式存储系统 Alluxio 源码完整解析（下篇）

在《Alluxio-源码简述-上》主要讲述了Alluxio本地环境搭建，源码项目结构，服务进程的启动流程和服务间RPC调用。本篇将在上篇的基础上，继续为大家讲述Alluxio中重点类详解，Alluxio中Block底层读写流程，AlluxioClient调用流程和Alluxo内置的轻量级调度框架。PARTONE重点类详述1.1.JournaledJournaled接口定义可被Journaled持久

腾源会·2023-03-30 13:09

Alluxio架构、场景与部分配置参数详解

Alluxio架构、场景与部分配置参数Alluxio：架构及数据流-简书(jianshu.com)Alluxio-基于内存的虚拟分布式存储系统_机器爱上学习的博客-CSDN博客_alluxio1架构1.1

气运联盟·2023-03-30 13:59

HBase基本概念与基本使用

1.HBase简介1.1什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。

Swordfall·2023-03-30 10:13

HDFS-GFS HBASE-BigTable

SecondaryNameNode,DataNodeBigtable是Google为了其搜索引擎应用推出的一种基于GFS的分布式数据模型，能够存储海量的结构化数据HBase对标于Goole的Bigtable，是基于HDFS分布式存储的面向列存储的数据库

高级cv算法设计师·2023-03-30 10:10

主流分布式存储技术对比分析：GFS、HDFS、GlusterFS、Ceph、Swift | 架构进阶

引言目前市面上各个厂家的分布式存储产品五花八门，但是如果透过产品本身的包装看到其背后的核心技术体系，基本上会分为两种架构，一种是有中心架构的分布式文件系统架构，以GFS、HDFS为代表；另外一种是完全无中心的分布式存储架构

爱写代码的小白.·2023-03-30 08:33

Windows Server搭建SAN存储服务（一）

以数据中心网络为基础的分布式存储是构建云计算的物理实体。

南海有鹏·2023-03-30 06:55

docker 搭建prometheus监控

多维数据模型（时序列数据由metric名和一组key/value组成）在多维度上灵活的查询语言(PromQl)不依赖分布式存储，单主节点工作.通过基于HTTP的pull方式采集时序数据可以通过pushgateway

一秒一心跳·2023-03-30 05:07

基于 SmartX 分布式存储的 iSCSI 与两种 NVMe-oF 技术与性能对比

作者：深耕行业的SmartX金融团队本文重点SmartX分布式块存储ZBS提供2种存算分离架构下的数据接入协议，分别是iSCSI和NVMe-oF。其中，iSCSI虽然具有很多优势，但不适合支持高性能的工作负载，这也是SmartX选择支持NVMe-oF的原因之一。结合性能和网络条件这两个角度的考虑，ZBS选择支持NVMeoverRDMA/RoCEv2和NVMeoverTCP，以满足用户的多种需求。Z

志凌海纳SmartX·2023-03-29 23:24

基于 SmartX 分布式存储的 RDMA 与 TCP/IP 技术与性能对比

作者：深耕行业的SmartX金融团队背景上一篇“分布式块存储ZBS的自主研发之旅｜架构篇”文章中，我们简单介绍了SmartX分布式块存储ZBS的架构原理。接下来，我们将为读者深入解析ZBS存储中最为重要的技术之一“RDMA”。目前ZBS在两个层面会使用到RDMA技术，分别是存储接入网络和存储内部数据同步网络。为了使读者更加容易理解，以及更有针对性地做存储性能对比，特通过两篇独立的文章分别进行介绍。

志凌海纳SmartX·2023-03-29 23:24

一分钟解释区块链

2.为了不可篡改，采用去中心化，透明公开，分布式存储，非对称加密。（假设了51%以上的算力无法联合起来，假设了非对称加密不被量子计算突破）3.为了数据一致，建立共识机制，确认哪个数据库是唯一合法的。

山岭下人·2023-03-29 22:34

大数据(一) - hadoop生态系统及版本演化

大数据系列文章汇总链接-更新到15篇HDFS：分布式存储系统（HadoopDistributedFileSystem）：提供了高可靠性、高扩展性和高吞吐率的数据存储服务HDFS源自于Google的GFS

will的成长之路·2023-03-29 20:46

传统数据仓库--离线数仓逻辑和架构设计

PHOENIX5.0.0HBaseSQL化查询分析工具SPARK3.0.1分布式计算引擎SQOOP1.4.7数据采集与转储服务TEZ0.10.0优化MapReduce任务的DAGYARN3.1.1分布式资源调度服务HDFS3.1.1分布式存储服务

北有榆树·2023-03-29 20:36

云原生学习-Minio分布式存储

声明本文转载自:https://blog.csdn.net/tianshan2010/article/details/105478206仅供个人总结学习使用Minio分布式文件存储，基于apachelience2.0的开源的存储框架！Minio是一个基于Go语言的对象存储服务。它实现了大部分亚马逊S3云存储服务接口，可以看做是是S3的开源版本，非常适合于存储大容量非结构化的数据，例如图片、视频、日

平塘码道·2023-03-29 12:37

去中心化云存储技术 | CESS 的多层网络架构详解

区块链以其特有的分布式算法和技术底层，让链上数据也随着区块链的不同实现了分布式存储，CESS（CumulusEncryptedStorageSystem）去中心化云储存网络基础设施，让我们看到了去中心化云存储的未来

OneBlock Community·2023-03-29 10:03

hbase架构详解

2、Hbase是一个高可用、高性能、面向列、可伸缩的分布式存储系统。

秃头小宝贝儿i·2023-03-29 08:40

华为与「DaoCloud 道客」推出面向元宇宙的云边协同超融合一体机

左：云原生计算基金会大使、「DaoCloud道客」创始人兼首席执行官陈齐彦右：华为数据存储产品线副总裁、分布式存储领域总裁王怡东元宇宙是贯穿物理世界和虚拟世界的空间，元宇宙中所有的活动、发展、呈现

云原生与道客·2023-03-29 07:54

etcd 笔记（01）— etcd 简介、特点、应用场景、常用术语

etcd是一款分布式存储中间件，使用Go语言编写，并通过Raft一致性算法处理和确保分布式一致性，解决了分布式系统中数据一致性的问题。而且作为一款分布式、可靠的键值存储组件，et

wohu1104·2023-03-29 03:16

推荐频道

分布式存储