分布式存储系统

大规模分布式存储（1）-- 概念、挑战和分类

随着数据的激增，我们已经进入到了一个数据时代，无论是云计算，大数据还是互联网公司的各种应用，其后台存储平台的目标都是要构建低成本、高性能、可扩展、易用的分布式存储系统。
叹了口丶气·2025-01-31 06:23

《大规模分布式存储系统：原理解析与架构实战》读书笔记

《大规模分布式存储系统：原理解析与架构实战》读书笔记1、事务满足ACID特性2、单机存储引擎：哈希存储引擎和B树存储引擎和LSM存储引擎。存储系统的数据模型：文件模型、关系模型和键值模型。
weixin_36908057·2025-01-31 06:52

大规模分布式存储系统：原理解析与架构实战

《大规模分布式存储系统：原理解析与架构实战》是分布式系统领域的经典著作，由阿里巴巴高级技术专家“阿里日照”（OceanBase核心开发人员）撰写，阳振坤、章文嵩、杨卫华、汪源、余锋（褚霸）、赖春波等来自阿里
克终·2025-01-31 05:49

软考高级系统架构设计师系列之：分布式存储技术

软考高级系统架构设计师系列之：分布式存储技术一、分布式存储技术及其实现机制二、分布式存储系统设计中的冗余技术三、常见的缓存工作模式和适应场景四、NOSQL一、分布式存储技术及其实现机制简要说明在分布式存储系统架构设计中所使用的分布式存储技术及其实现机制
快乐骑行^_^·2025-01-27 23:13

KVM+GFS分布式存储系统构建KVM高可用

一、案列分析1.1案列概述本章案例主要使用之前章节所学的KVM及GlusterFs技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，Glu
henan程序媛·2024-09-16 00:17

HBase介绍

概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。
mingyu1016·2024-09-14 21:47

KVM+GFS分布式存储系统构建 KVM 高可用

一、案例分析本案例主要使用KVM及GlusterFS技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，GlusterFS会自动同步同一组卷
wkysdhr·2024-09-12 00:53

Hbase、hive以及ClickHouse的介绍和区别？

HBase的设计灵感来源于Google的Bigtable论文，它通过提供类似于Bigtable的能力，在Hadoop之上构建了一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
damokelisijian866·2024-09-08 23:43

【初出江湖】分布式之什么是分布式存储？

目录标题分布式存储分布式存储系统特点分布式存储原理分布式存储的应用场景分布式存储和集中式存储的区别分布式存储分布式存储是一种将数据分散存储在多个节点上的存储方式。
无休居士·2024-09-03 15:05

缓存读写策略 Cache Aside Pattern，开发必备

我们在前面讲到了当我们业务面临大量写并发的时候，将数据库开发成分布式存储系统，然后又介绍了NoSql数据库与关系型数据库互相配合，以用来更好的服务与我们的业务发展。
架构师修炼·2024-09-02 12:20

以内存为核心的开源分布式存储系统

是一个以内存为核心的开源分布式存储系统，也是目前发展最迅速的开源大数据项目之一。
这次靠你了·2024-02-20 05:26

论文阅读-Pegasus：通过网络内一致性目录容忍分布式存储中的偏斜工作负载

论文名称：Pegasus:ToleratingSkewedWorkloadsinDistributedStoragewithIn-NetworkCoherenceDirectories摘要高性能分布式存储系统面临着由于偏斜和动态工作负载引起的负载不平衡的挑战
向来痴_·2024-02-14 06:10

如何搭建glusterfs分布式存储系统

目录前言什么是分布式存储分布式存储的优点本章重点glusterfs相关术语glusterfs的逻辑卷类型准备6台测试服务器storage服务器安装glusterfs软件并启动分布式集群的结构配置可信池pool创建复制卷--replicatedvolumeclient客户端挂载复制卷卷的删除创建条带卷--stripedvolumeclient客户端挂载条带卷创建分布式卷--replicatedvol
MssGuo·2024-02-12 14:55

Ceph入门到精通-sysctl参数优化

Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。
·2024-02-11 18:09

Ceph入门到精通-sysctl参数优化

Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。
·2024-02-11 17:41

分布式存储系统学习笔记(三)—分布式键值系统(1)—Amazon Dynamo

1.概述Dynamo以很简单的键值方式存储数据，不支持复杂的查询。Dynamo中存储的是数据值的原始形式，不解析数据的具体内容。Dynamo主要用于Amazon购物车和S3云存储服务。Dynamo通过组合P2P的各种技术打造了线上可运行的分布式键值系统，下表列出了Dynamo设计时面临的问题及最终采取的解决方案：2.数据分布Dynamo采用一致性哈希将数据分布到多个存储节点中(博文：一天不学习我浑
不会算命的赵半仙·2024-02-11 02:34

编程随笔-ElasticSearch知识导图(1)：全景

但我最初了解ES却是从NoSQL数据库开始，在使用、研究了ES一段时间后，我发现这是一个优秀的分布式部署软件，不仅是一个全文搜索引擎、还是一个分布式存储系统、一个分布式数据库。  
weixin_33868027·2024-02-09 18:58

Raft算法在Curve中的实践

110006508【嵌牛导读】：本文介绍了RAFT算法的特点和基本应用【嵌牛鼻子】：Curve实践【嵌牛模块】：RAFT算法概念、特点、应用场合【嵌牛正文】：urve作为高性能、高可用、高可靠的新一代分布式存储系统
xx_d18b·2024-02-08 19:45

手写分布式存储系统v0.3版本

引言承接手写分布式存储系统v0.2版本，今天开始新的迭代开发。
林崇辉·2024-02-05 16:44

手写分布式存储系统v0.1版本

引言这是手写分布式存储系统v0.1版本，只有一个目标就是支持通过tcp接收数据并落地到磁盘文件(单机模式)，那接下来就开始吧一、设计实现一个系统，设计是最过瘾的过程没有之一，类似你搭积木前在脑海设计构建一副大致的
林崇辉·2024-02-03 01:10

手写分布式存储系统v0.2版本

引言上回说到手写分布式存储系统v0.1版本，已经实现了通过监听TCP端口并将数据写到本地磁盘的功能，今天咱们就继续往上面添砖加瓦v0.2版本大致做以下功能实现滚动写文件代码优化一、滚动写文件实现由于咱们写文件是用的
林崇辉·2024-02-03 01:10

TiDedup: A New Distributed Deduplication Architecture for Ceph——论文泛读

ATC2023Paper分布式元数据论文汇总问题Ceph是一个广泛部署的分布式存储系统，Ceph中的集群级去重设计，由于一些缺点难以在生产环境中使用：（1）去重唯一数据会导致过多的元数据消耗；（2）串行层次化机制对前台
妙BOOK言·2024-02-02 18:26

HBase详细安装指南

HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在
嘎嘎嘎啊哈·2024-02-02 06:59

经典论文研读：《Bigtable: A Distributed Storage System for Structured Data》

一概述BigTable是以大神JeffreyDean为首的Google团队在2006年公开的分布式存储系统，是Google“三驾马车”论文中（GFS、MapReduce、BigTable）中最后公开的。
WanderingScorpion·2024-02-01 12:02

Bigtable: A Distributed Storage System for Structured Data_中文翻译

作为分布式数据库的经典文献，个人在学习的过程中参考其它译文进行翻译：参考译文：https://blog.csdn.net/u010359965/article/details/49795133）摘要Bigtable是一个分布式存储系统
冷冽的火花·2024-02-01 12:31

Hadoop 大数据技术原理与应用

Hadoop大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（
kk8_·2024-02-01 04:33

SpringBoot中集成Minio高性能分布式存储文件服务入门

区别于分布式存储系统，minio的特色在于简单、轻量级，对开发者
霸道流氓气质·2024-01-31 16:17

大数据处理系统的架构

Lambda架构的主要组成部分包括：批处理层（BatchLayer）：存储：使用分布式存储系统（如ApacheHadoopHDFS）
demo123567·2024-01-28 14:58

二 Ceph存储工作原理及实现

认识Cephceph是一个能提供文件存储，快存储和对象存储的分布式存储系统。
假面生·2024-01-26 13:38

从Elasticsearch来看分布式系统架构设计

这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。我们先来简单看下Elasticsearch的架构。
大叶子不小·2024-01-26 10:11

架构师的36项修炼-09架构实战案例分析

2.分析一个分布式存储的架构案例，看如何去设计一个分布式存储系统，底层存储系统的架构是如何设计的。3.分析一个反应式编程框架的架构案例，看开发框架的架构是如何设计的。这三类系统架
机智阳·2024-01-22 18:07

Hbase笔记

ApacheHBase是一个开源的，分布式的，版本化的非关系数据库，模仿Google的Bigtable：Chang等人的结构化数据分布式存储系统。正
MFRain·2024-01-21 20:24

Ceph分布式存储部署

SAN（存储区域网络）4、单机存储的问题5、商业存储解决方案6、分布式存储（软件定义的存储SDS）7、分布式存储的类型二、Ceph简介1.Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统
睡美人章繁·2024-01-21 16:26

HBASE学习一：原理架构详解

你可以认为HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
Studying！！！·2024-01-18 08:34

11张手绘图：搞定分布式系统容错架构

那啥又是分布式存储系统呢？天哪！某台机器宕机了咋办？Master节点如何感知到数据副本消失？如何复制副本保持足够副本数量删除多余副本又该怎么做呢？
石杉的架构笔记·2024-01-13 10:32

联手英特尔，释放星飞分布式全闪存储潜能

近日，英特尔官网发布了与XSKY星辰天合联手打造的解决方案，即XSKY的新一代全闪分布式存储系统XINFINI，该存储系统采用英特尔QAT加速数据压缩/解压缩，从而大幅度提升存储系统性能。
XSKY星辰天合·2024-01-12 09:15

glusterFS

它将自动故障转移作为主要功能.分布式存储系统.集群式NAS存储.无集中式元数据服务,采用Hash算法定位.一致性哈希DHT.Hash值落在哪个范围内,数据就存储在哪里.弹性卷管理.自动做了raid.2.
MoonSoin·2024-01-11 04:42

大数据开发：Hive基础知识点介绍

Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。Hive的特点Hive最大的特
加米谷大数据张老师·2024-01-09 13:52

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS
杀神lwz·2024-01-07 11:19

分布式存储与传统存储对比分析

分布式存储的定义分布式存储系统，是将数据分散存储在多台独立的X86服务器上，通过通用的存储协议对外提供FC、ISCSI、RBD、NAS、S3等存储接口，每个存储服务器节点既能够进行数据存放和性能加速，也同时提供数据控制和存储接口对接
LD_ee65·2024-01-07 01:46

Ceph分布式存储

一.Ceph分布式存储1.Ceph概念（1）Ceph是一种开源的分布式存储系统，2006年出现，是私有云事实上的标准-OpenStack的默认存储后端。用于在整个集群中存储海量数据。
z怀夕·2024-01-06 08:46

BigData~05：HBase

https://www.cnblogs.com/ityouknow/p/7344001.html一、简介HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer
帅可儿妞·2024-01-06 07:29

Alluxio中国行（一）开源分布式存储系统Alluxio的历史、现状和未来

七月底八月初在南京、上海和北京三地，Alluxio项目创立者李浩源以及部分核心开发者举办了一系列Meetup活动。活动现场介绍了Alluxio项目的新增功能，Alluxio生态系统展望，以及探讨了Alluxio在未来的发展路线。同时还分享了Alluxio在百度、去哪儿网的实践案例，与广大开发者及用户积极交流，碰撞思想。Alluxio，前称Tachyon，源自UCBerkeleyAMPLab，是一个
言则yanze·2024-01-05 22:43

分布式存储题库

分布式存储题库分布式存储系统要求实现的特性有哪些？答：低成本、高性能、可扩展、易用。分布式存储系统设计的技术性挑战包括那些。答：数据分布、一致性、容错、负载均衡、并发控制、易用性、压缩/解压缩。
@Yauo·2024-01-04 19:18

HBase基本概念与基本使用

1.HBase简介1.1什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
Yobhel·2024-01-04 08:28

大数据StarRocks(一) StarRocks概述

1StarRocks介绍StarRocks是新一代极速全场景MPP(MassivelyParallelProcessing)数据库，它充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果
运维仙人·2024-01-03 06:24

PacificA 论文笔记（一）

然而实现一个实际项目中的分布式存储系统不仅仅是应用一个已知的复制协议。理论上的复制协议和实际应用的复制机制还是有很大的不同的。
余小言·2023-12-31 18:51

Kubernetes集群部署Rook Ceph实现文件存储，对象存储，块存储

Ceph是一个高度可扩展的分布式存储系统，提供了对象存储、块存储和文件系统的功能，广泛应用于提供大规模存储解决方案。
大風起雲飛揚·2023-12-31 17:08

【图文详解】HBase 数据模型及其架构原理

HBase的设计思想，来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。HBase数据模型逻辑上，HBase的数据模型同
禅与计算机程序设计艺术·2023-12-30 21:40

分布式存储考点梳理 + 高频面试题

面试中如何考察分布式存储广义的分布式存储根据不同的应用领域，划分为以下的类别：分布式协同系统分布式文件系统分布式任务调度框架分布式NoSQL存储分布式关系数据库各种消息队列MQ流式计算框架当然，这只是一种划分方式，你也可以根据存储数据的特点，将分布式存储系统划分为块存储
小小哭包·2023-12-29 21:15
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他