分布式存储系统

大数据运维实战指南：零基础入门与核心技术解析（第一篇）

大数据运维实战指南：零基础入门与核心技术解析（第一篇）系列文章目录第一篇：大数据运维概述与核心技能体系第二篇：Hadoop生态体系与集群部署实战第三篇：分布式存储系统运维与优化第四篇：资源调度框架YARN
emmm形成中·2025-03-09 01:19

论分布式存储系统架构设计

在这种背景下，分布式存储系统（DistributedStorageSystem）应运而生。
一休哥助手·2025-03-08 21:37

Ceph实战（一）-分布式存储介绍与原理架构概述

CEPH还有一个重要原因就是我同时要补充kubernetes、rancher专栏必定会涉及到有状态的存储资源抽象（StatefulSet、PV、PVC、StorageClass等），首先绕不开的就是高可用的分布式存储系统
深度视觉机器·2025-03-08 07:57

大数据面试系列之——Hadoop

Hadoop的三个核心：HDFS（分布式存储系统）MapReduce（分布式计算系统）YARN(分布式资源调度)1.Hadoop集群的几种搭建模式1.单机模式：直接解压安装，不存在分布式存储系统2.伪分布式
潜心_守道·2025-03-07 07:17

阿里云MaxCompute面试题汇总及参考答案

的核心功能及适用场景，与传统数据仓库的区别解释MaxCompute分层架构设计原则，与传统数仓分层有何异同MaxCompute的存储架构如何实现高可用与扩展性解析伏羲（Fuxi）分布式调度系统工作原理盘古（Pangu）分布式存储系统数据分片策略计算与存储分离架构的资源弹性扩展方案解释
大模型大数据攻城狮·2025-03-06 10:05

Ceph Cookbook: 掌握分布式存储技术的实践指南

本文还有配套的精品资源，点击获取简介：《CephCookbook》是一本面向希望深入学习Ceph分布式存储系统的读者的实用指南。本书通过实际案例和操作指导，全面介绍Ceph的核心概念和关键技术。
云山雾村·2025-02-28 11:31

深入探讨Ceph：分布式存储架构的未来

Ceph以其卓越的性能、高可靠性、强大的扩展性以及开源的特性，在众多分布式存储系统中脱颖而出，被广泛应用于云计算、大数据、人工智能等前沿领域。无论是
深度Linux·2025-02-28 10:50

开源分布式存储系统在云原生数据库领域的实践与应用

本文深入探讨了Curve项目，一个专为云原生环境设计的开源分布式存储系统。文章详细介绍了Curve的块存储架构、其在云原生数据库领域的实际应用，并展望了项目的未来发展方向。
ITPUB-微风·2025-02-25 08:33

分布式NAS集群+ceph+CTDB

分布式存储系统中，分布式NAS、CTDB和Ceph常常被结合使用以提供高性能、高可用性和灵活扩展的存储解决方案。
Comedy_宁·2025-02-22 05:09

AI 大模型应用数据中心建设：高性能计算与存储架构

接着，讨论了存储架构，包括存储类型、分布式存储系统和数据一致性策略。本文还提
AI天才研究院·2025-02-17 20:21

Ceph 架构以及部署

Ceph是一个开源的分布式存储系统，它提供了对象存储、块存储和文件系统存储。Ceph的设计目标是高度可扩展性和高性能，同时提供无单点故障的高可用性。
完颜振江·2025-02-10 00:35

大规模分布式存储（1）-- 概念、挑战和分类

随着数据的激增，我们已经进入到了一个数据时代，无论是云计算，大数据还是互联网公司的各种应用，其后台存储平台的目标都是要构建低成本、高性能、可扩展、易用的分布式存储系统。
叹了口丶气·2025-01-31 06:23

《大规模分布式存储系统：原理解析与架构实战》读书笔记

《大规模分布式存储系统：原理解析与架构实战》读书笔记1、事务满足ACID特性2、单机存储引擎：哈希存储引擎和B树存储引擎和LSM存储引擎。存储系统的数据模型：文件模型、关系模型和键值模型。
weixin_36908057·2025-01-31 06:52

大规模分布式存储系统：原理解析与架构实战

《大规模分布式存储系统：原理解析与架构实战》是分布式系统领域的经典著作，由阿里巴巴高级技术专家“阿里日照”（OceanBase核心开发人员）撰写，阳振坤、章文嵩、杨卫华、汪源、余锋（褚霸）、赖春波等来自阿里
克终·2025-01-31 05:49

软考高级系统架构设计师系列之：分布式存储技术

软考高级系统架构设计师系列之：分布式存储技术一、分布式存储技术及其实现机制二、分布式存储系统设计中的冗余技术三、常见的缓存工作模式和适应场景四、NOSQL一、分布式存储技术及其实现机制简要说明在分布式存储系统架构设计中所使用的分布式存储技术及其实现机制
快乐骑行^_^·2025-01-27 23:13

KVM+GFS分布式存储系统构建KVM高可用

一、案列分析1.1案列概述本章案例主要使用之前章节所学的KVM及GlusterFs技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，Glu
henan程序媛·2024-09-16 00:17

HBase介绍

概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。
mingyu1016·2024-09-14 21:47

KVM+GFS分布式存储系统构建 KVM 高可用

一、案例分析本案例主要使用KVM及GlusterFS技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，GlusterFS会自动同步同一组卷
wkysdhr·2024-09-12 00:53

Hbase、hive以及ClickHouse的介绍和区别？

HBase的设计灵感来源于Google的Bigtable论文，它通过提供类似于Bigtable的能力，在Hadoop之上构建了一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
damokelisijian866·2024-09-08 23:43

【初出江湖】分布式之什么是分布式存储？

目录标题分布式存储分布式存储系统特点分布式存储原理分布式存储的应用场景分布式存储和集中式存储的区别分布式存储分布式存储是一种将数据分散存储在多个节点上的存储方式。
无休居士·2024-09-03 15:05

缓存读写策略 Cache Aside Pattern，开发必备

我们在前面讲到了当我们业务面临大量写并发的时候，将数据库开发成分布式存储系统，然后又介绍了NoSql数据库与关系型数据库互相配合，以用来更好的服务与我们的业务发展。
架构师修炼·2024-09-02 12:20

以内存为核心的开源分布式存储系统

是一个以内存为核心的开源分布式存储系统，也是目前发展最迅速的开源大数据项目之一。
这次靠你了·2024-02-20 05:26

论文阅读-Pegasus：通过网络内一致性目录容忍分布式存储中的偏斜工作负载

论文名称：Pegasus:ToleratingSkewedWorkloadsinDistributedStoragewithIn-NetworkCoherenceDirectories摘要高性能分布式存储系统面临着由于偏斜和动态工作负载引起的负载不平衡的挑战
向来痴_·2024-02-14 06:10

如何搭建glusterfs分布式存储系统

目录前言什么是分布式存储分布式存储的优点本章重点glusterfs相关术语glusterfs的逻辑卷类型准备6台测试服务器storage服务器安装glusterfs软件并启动分布式集群的结构配置可信池pool创建复制卷--replicatedvolumeclient客户端挂载复制卷卷的删除创建条带卷--stripedvolumeclient客户端挂载条带卷创建分布式卷--replicatedvol
MssGuo·2024-02-12 14:55

Ceph入门到精通-sysctl参数优化

Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。
·2024-02-11 18:09

Ceph入门到精通-sysctl参数优化

Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。
·2024-02-11 17:41

分布式存储系统学习笔记(三)—分布式键值系统(1)—Amazon Dynamo

1.概述Dynamo以很简单的键值方式存储数据，不支持复杂的查询。Dynamo中存储的是数据值的原始形式，不解析数据的具体内容。Dynamo主要用于Amazon购物车和S3云存储服务。Dynamo通过组合P2P的各种技术打造了线上可运行的分布式键值系统，下表列出了Dynamo设计时面临的问题及最终采取的解决方案：2.数据分布Dynamo采用一致性哈希将数据分布到多个存储节点中(博文：一天不学习我浑
不会算命的赵半仙·2024-02-11 02:34

编程随笔-ElasticSearch知识导图(1)：全景

但我最初了解ES却是从NoSQL数据库开始，在使用、研究了ES一段时间后，我发现这是一个优秀的分布式部署软件，不仅是一个全文搜索引擎、还是一个分布式存储系统、一个分布式数据库。  
weixin_33868027·2024-02-09 18:58

Raft算法在Curve中的实践

110006508【嵌牛导读】：本文介绍了RAFT算法的特点和基本应用【嵌牛鼻子】：Curve实践【嵌牛模块】：RAFT算法概念、特点、应用场合【嵌牛正文】：urve作为高性能、高可用、高可靠的新一代分布式存储系统
xx_d18b·2024-02-08 19:45

手写分布式存储系统v0.3版本

引言承接手写分布式存储系统v0.2版本，今天开始新的迭代开发。
林崇辉·2024-02-05 16:44

手写分布式存储系统v0.1版本

引言这是手写分布式存储系统v0.1版本，只有一个目标就是支持通过tcp接收数据并落地到磁盘文件(单机模式)，那接下来就开始吧一、设计实现一个系统，设计是最过瘾的过程没有之一，类似你搭积木前在脑海设计构建一副大致的
林崇辉·2024-02-03 01:10

手写分布式存储系统v0.2版本

引言上回说到手写分布式存储系统v0.1版本，已经实现了通过监听TCP端口并将数据写到本地磁盘的功能，今天咱们就继续往上面添砖加瓦v0.2版本大致做以下功能实现滚动写文件代码优化一、滚动写文件实现由于咱们写文件是用的
林崇辉·2024-02-03 01:10

TiDedup: A New Distributed Deduplication Architecture for Ceph——论文泛读

ATC2023Paper分布式元数据论文汇总问题Ceph是一个广泛部署的分布式存储系统，Ceph中的集群级去重设计，由于一些缺点难以在生产环境中使用：（1）去重唯一数据会导致过多的元数据消耗；（2）串行层次化机制对前台
妙BOOK言·2024-02-02 18:26

HBase详细安装指南

HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在
嘎嘎嘎啊哈·2024-02-02 06:59

经典论文研读：《Bigtable: A Distributed Storage System for Structured Data》

一概述BigTable是以大神JeffreyDean为首的Google团队在2006年公开的分布式存储系统，是Google“三驾马车”论文中（GFS、MapReduce、BigTable）中最后公开的。
WanderingScorpion·2024-02-01 12:02

Bigtable: A Distributed Storage System for Structured Data_中文翻译

作为分布式数据库的经典文献，个人在学习的过程中参考其它译文进行翻译：参考译文：https://blog.csdn.net/u010359965/article/details/49795133）摘要Bigtable是一个分布式存储系统
冷冽的火花·2024-02-01 12:31

Hadoop 大数据技术原理与应用

Hadoop大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（
kk8_·2024-02-01 04:33

SpringBoot中集成Minio高性能分布式存储文件服务入门

区别于分布式存储系统，minio的特色在于简单、轻量级，对开发者
霸道流氓气质·2024-01-31 16:17

大数据处理系统的架构

Lambda架构的主要组成部分包括：批处理层（BatchLayer）：存储：使用分布式存储系统（如ApacheHadoopHDFS）
demo123567·2024-01-28 14:58

二 Ceph存储工作原理及实现

认识Cephceph是一个能提供文件存储，快存储和对象存储的分布式存储系统。
假面生·2024-01-26 13:38

从Elasticsearch来看分布式系统架构设计

这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。我们先来简单看下Elasticsearch的架构。
大叶子不小·2024-01-26 10:11

架构师的36项修炼-09架构实战案例分析

2.分析一个分布式存储的架构案例，看如何去设计一个分布式存储系统，底层存储系统的架构是如何设计的。3.分析一个反应式编程框架的架构案例，看开发框架的架构是如何设计的。这三类系统架
机智阳·2024-01-22 18:07

Hbase笔记

ApacheHBase是一个开源的，分布式的，版本化的非关系数据库，模仿Google的Bigtable：Chang等人的结构化数据分布式存储系统。正
MFRain·2024-01-21 20:24

Ceph分布式存储部署

SAN（存储区域网络）4、单机存储的问题5、商业存储解决方案6、分布式存储（软件定义的存储SDS）7、分布式存储的类型二、Ceph简介1.Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统
睡美人章繁·2024-01-21 16:26

HBASE学习一：原理架构详解

你可以认为HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
Studying！！！·2024-01-18 08:34

11张手绘图：搞定分布式系统容错架构

那啥又是分布式存储系统呢？天哪！某台机器宕机了咋办？Master节点如何感知到数据副本消失？如何复制副本保持足够副本数量删除多余副本又该怎么做呢？
石杉的架构笔记·2024-01-13 10:32

联手英特尔，释放星飞分布式全闪存储潜能

近日，英特尔官网发布了与XSKY星辰天合联手打造的解决方案，即XSKY的新一代全闪分布式存储系统XINFINI，该存储系统采用英特尔QAT加速数据压缩/解压缩，从而大幅度提升存储系统性能。
XSKY星辰天合·2024-01-12 09:15

glusterFS

它将自动故障转移作为主要功能.分布式存储系统.集群式NAS存储.无集中式元数据服务,采用Hash算法定位.一致性哈希DHT.Hash值落在哪个范围内,数据就存储在哪里.弹性卷管理.自动做了raid.2.
MoonSoin·2024-01-11 04:42

大数据开发：Hive基础知识点介绍

Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。Hive的特点Hive最大的特
加米谷大数据张老师·2024-01-09 13:52

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS
杀神lwz·2024-01-07 11:19
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他