分布式存储系统

Ceph运维学习详解

Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，作为主流的分布式存储技术之一，ceph越来越成为运维工程师技能树的必备要件。
豆包同学在路上·2023-04-17 21:37

Chapter4 分布式数据库HBase

BigTable是一个分布式存储系统，它最初是用于解决谷歌公司内部的大规模网页所搜问题。网页搜索可以分为两个阶段：1.第一阶段：建立整个网页的索引。
今晚滿天星·2023-04-13 23:22

分布式存储技术解读系列之二：Ceph 的数据分布算法 | 架构进阶

1.引言数据分布是分布式存储系统的要解决的首要问题，在分布式存储系统当中，最核心也是最基本的要求就是数据的分布算法或者规则能够解决以下几个问题：（1）数据负载均衡：数据能够均匀地分布在磁盘容量不等的存储节点
宋罗世家技术屋·2023-04-13 02:17

大数据组件——Hive简介及入门

Hive简介ApacheHive是基于Hadoop的一种数据仓库工具，可以提供类似于SQL的查询语言——HiveQL，用来从存储在分布式存储系统中的大规模数据集合中检索和分析数据。
'Wu'·2023-04-11 19:14

链战2018：公链、跨链之争下的天鹅湖（人类区块链进化二史2）

2018区块链落地应用元年我们都知道区块链有很深厚的理论基础，分布式帐本、共识机制、智能合约、密码学构筑了区块链的基石，相较于传统的分布式存储系统，分布式账本技术主要具备两种不同的特征：传统分布式存储系统执行受某一中心节点或权威机构控制的数据管理机制
悬梁刺币Mike·2023-04-10 08:38

滴滴Ceph分布式存储系统优化之锁优化

桔妹导读：Ceph是国际知名的开源分布式存储系统，在工业界和学术界都有着重要的影响。Ceph的架构和算法设计发表在国际系统领域顶级会议OSDI、SOSP、SC等上。
滴滴技术·2023-04-09 22:21

Alluxio社区范斌博士访谈录：关于数据编排，云迁移以及数据工程中的挑战

加入Alluxio项目之前,范斌就职于谷歌，从事下一代大规模分布式存储系统的研究与开发。范斌2013年获得卡内基梅隆大学(CarnegieMellonUniversity)计算机系博士学位，博士期
Alluxio·2023-04-09 07:16

【深度知识】Ceph功能，原理及架构总结

1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
笔名辉哥·2023-04-09 00:02

大数据开发hive数据库常用命令汇总

Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件1、进入hive数据库：hive2、查看hive中的所有数据库：showdatabases
爱开发V·2023-04-08 07:45

FusionStorage分布式存储

FusionStorage是华为推出的一款可大规模横向扩展的分布式存储系统，其本质是将通用的X86、ARM服务器的本地已有的HHD磁盘，SATA盘，SAS盘，SSD盘等介质，利用分布式技术组成大规模存储资源池
IT小组·2023-04-08 03:56

英特尔DAOS分布式异步存储系统

随着数据呈指数级增长，分布式存储系统不仅成为了数据中心的核心，同时也成了其主要的瓶颈。数据访问延迟高、可扩展性差、管理大型数据集难度大、缺乏查询功能，这些都是常常会遇到的阻碍。
尚先生的博客·2023-04-08 03:01

在 KubeSphere 中使用 Rook 构建云原生存储环境

Rook将分布式存储系统转变为自管理、自扩展、自修复的存储服务。它使存储管理员的部署、引导、配置、配置、扩展、升级、迁移、灾难恢复、监控和资源管理等任务自动化。
米开朗基杨·2023-04-08 00:19

Ceph简介：

Ceph是什么Ceph是一种分布式存储系统，所谓分布式，指的是Ceph可以部署在多台服务器上，通过多台服务器并行处理来对外提供高性能的读写块。
付少华·2023-04-07 12:31

ceph概述

Ceph是一个开放、自我修复和自我管理的统一分布式存储系统。具有高扩展性、高性能、高可靠性的优点。2、为什么要使用ceph?ceph目前已得到众多云计算厂商的支持并被广泛应用。
songtaiwu·2023-04-07 12:29

【6.824分布式系统笔记】LEC 3: GFS ｜HDFS、背景、GFS架构、文件读写、一致性

GFS论文笔记背景为什么构建分布式存储系统如此困难？需要大量机器并行来获得高性能→数据分割放置，即分片（
Mengo_x·2023-04-06 19:13

【ceph】什么是Ceph？------（MinIO和ceph的区别|GFS（GlusterFS）、MFS、Ceph、Lustre|文档）

简介Ceph则是一个统一分布式存储系统（统一：同时支持块存储、文件存储和对象存储），具有优异的性能、可靠性和可扩展性。Ceph底层是
bandaoyu·2023-04-06 12:31

ceph基础架构详解

接交换机形成专用的存储网络)SAN==》对于稳定性要求比较高的：金融/银行网络附加存储:对外服务by网络,任何设备都可以访问2.分布式存储(是一个集群的概念)2.1即是通过网络将数据分散在多台独立的设备上.分布式存储系统的特性
黑猫警张Evans·2023-04-06 03:02

MinIO信息泄露漏洞(CVE-2023-28432)批量检测POC

MinIO是一种高性能、高可用的分布式存储系统，可以存储大量数据，并提供高速的数据读写能力。MinIO采用分布式架构，可以在多个节点上运行，实现数据的分布式存储和处理。
今天是 几 号·2023-04-05 19:13

常见开源分布式存储系统

系统整体对比对比说明/文件系统TFSFastDFSMogileFSMooseFSGlusterFSCeph开发语言C++CPerlCCC++开源协议GPLV2GPLV3GPLGPLV3GPLV3LGPL数据存储方式块文件/Trunk文件块文件/块对象/文件/块集群节点通信协议私有协议（TCP）私有协议（TCP）HTTP私有协议（TCP）私有协议（TCP）/RDAM(远程直接访问内存)私有协议（TC
罗亚方舟·2023-04-05 02:19

Ceph系列01-Ceph简介

Ceph是一个可大规模扩展、高性能并且无单点故障的分布式存储系统。从一开始它就运行在通用商用硬件上，具有高度可伸缩性，容量可扩展至EB级别，甚至更大。
tinychen777·2023-04-05 01:06

hadoop中的各个模块及其作用

分布式存储系统被称为HDFS。可以将整个文件系统看成一个超大的硬盘。hdfs的组成主节点namenode（nn）：存放元数据信息，存储文件名称，文件属性，文件块列表，所在dn节点列表。
IT小鸟鸟·2023-04-04 12:12

分布式存储Ceph RBD-Mirror 灾备实践

1.说明介绍继上次分享的《分布式存储系统Ceph架构及使用场景解析》和《分布式存储Ceph之PG状态详解》，这次分享《分布式存储Ceph块存储灾备方案》。
糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖·2023-04-04 03:13

分布式文件与分布式存储系统学习总结(持续更新)

存储系统知识WriteAheadLog问题引入存储系统在运行过程中，每时每刻都在发生数据更新。如对文件数据的CRUD.对于中心控制节点来说，这些都会涉及到metadata的更新操作。为了保持元数据和文件数据的状态一致性，系统所有对数据的操作对应的元数据变更都应该要持久化到元数据db中。那假如这个metadatadb是在外存的，那么是否意味着高频的io操作？是否可以引入延时写入的方法？WriteAh
小凯Alex·2023-04-04 02:56

ElasticSearch让人叹为观止的分布式系统架构设计

这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。我们先来简单看下Elasticsearch的架构。
xhmj12·2023-04-03 19:22

全闪分布式，如何深度性能POC？

全闪存储已经成为当前存储的新贵，从存储架构的演变角度，软件定义的分布式存储系统替代传统控制器架构的磁盘阵列已是大势所趋。
大道云行TaoCloud·2023-04-03 16:58

科普｜从硬件角度讲解——分布式存储是什么？

什么是分布式存储系统？分布式存储又称去中心化存储，要理解它，首先我们需要了解中心化存储。
「已注销」·2023-04-03 16:18

Ceph OSD简介

相较于其他分布式存储系统，效率更高。Ceph的核心功能包括高可靠、自
ZHANGJNWEI·2023-04-03 03:11

基于 Ceph 的 Kubernetes 数据持久化

Ceph是一个可扩展的分布式存储系统，性能卓越，安全可靠，面向对象、块与文件存储。Ceph是加州大学SantaCruz分校的SageWeil（DreamHost的联合创始人）
Docker_·2023-04-03 03:10

Hadoop HBase概念学习系列之什么是HBase？ （一）

HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
weixin_33835103·2023-04-02 19:25

组件分享之后端组件——一个简单且高度可扩展的分布式文件系统seaweedfs

组件基本信息组件：seaweedfs开源协议：Apache-2.0License内容本节我们分享一个分布式存储系统seaweedfs，它是一个用于bl
CN華少·2023-04-02 08:16

Hadoop - HDFS文件系统

3、分布式存储系统的核心属性及功能含义一、分布式存储的优点二、元数据记录的功能三、分块存储好处四、副本机制的作用4、HDFS简介HDFS适用场景5、HDFS主从架构分块存储副本机制元数据管理数据块存储6
Wangsh@·2023-04-02 03:54

强一致、高可用、高性能分布式Log存储系统的设计与实现

在分布式存储系统的设计研发和工程化实践方面，有较丰富经验。摘要：本次分享将从实战经验出发，详细介绍从0开始开发一个强
cuichun6294·2023-04-01 23:30

小滴课堂-项目大课学习笔记（2）海量数据存储-分布式文件存储系统

在不同的互联网公司中，会根据自己的需求来设置出合适自己的方案，而分布式系统底层起支撑作用就是分布式存储系统。分布式存储的四大特征扩展性：分布式
小滴课堂·2023-04-01 17:22

TiDB学习笔记（一）-PCTA

一、分布式存储系统TiDB使用LSMTree数据结构。
404Rapper..·2023-04-01 11:54

使用Rook+Ceph在Kubernetes上作持久存储

Ceph是一个分布式存储系统，提供对象、文件
王伯爵·2023-04-01 10:52

分布式数据库Hbase

HBase来源Hbase是BigTable的开源实现BigTable：分布式存储系统，最初是为了解决在大量数据下互联网的搜索问题特点：（1）架构在GFS上，使用GFS作为底层数据存储；（2）利用谷歌的MapReduce
雨漪人·2023-03-31 22:26

HDFS原理与应用

其中Client端通过协议访问层与Server端通讯分布式存储系统有对象存储、文件存储、块存储和数据库HDFS功能特性：分布式：受GFS启发，用Ja
Popcorn丶30·2023-03-31 09:10

ceph简介

ceph是⼀种分布式存储系统，可以将多台服务器组成⼀个超⼤集群，把这些机器中的磁盘资源整合到⼀块⼉，形成⼀个⼤的资源池（⽀持PB级别，大厂用得多），然后按需分配给客户端应⽤使⽤。
唏噗·2023-03-30 19:44

连你女朋友都能看懂的分布式架构原理！

一、从一个新闻门户网站案例引入现在很多同学经常会看到一些名词，比如分布式服务框架，分布式系统，分布式存储系统，分布式消息系统。但是有些经验尚浅的同学，可能都很容易被这些名词给搞晕。
石杉的架构笔记·2023-03-30 15:56

Alluxio安装部署

简介Alluxio是世界上第一个虚拟的分布式存储系统，以内存速度统一了数据访问。它为计算框架和存储系统构建了桥梁，使应用程序能够通过一个公共接口连接到许多存储系统。
weixin_47924795·2023-03-30 14:20

Alluxio-基于内存的虚拟分布式存储系统

什么是AlluxioAlluxio是世界上第一个虚拟的分布式存储系统，它为计算框架和存储系统构建了桥梁，使计算框架能够通过一个公共接口连接到多个独立的存储系统,使计算与存储隔离。
机器爱上学习·2023-03-30 13:53

你不知道的开源分布式存储系统 Alluxio 源码完整解析（下篇）

在《Alluxio-源码简述-上》主要讲述了Alluxio本地环境搭建，源码项目结构，服务进程的启动流程和服务间RPC调用。本篇将在上篇的基础上，继续为大家讲述Alluxio中重点类详解，Alluxio中Block底层读写流程，AlluxioClient调用流程和Alluxo内置的轻量级调度框架。PARTONE重点类详述1.1.JournaledJournaled接口定义可被Journaled持久
腾源会·2023-03-30 13:09

Alluxio架构、场景与部分配置参数详解

Alluxio架构、场景与部分配置参数Alluxio：架构及数据流-简书(jianshu.com)Alluxio-基于内存的虚拟分布式存储系统_机器爱上学习的博客-CSDN博客_alluxio1架构1.1
气运联盟·2023-03-30 13:59

HBase基本概念与基本使用

1.HBase简介1.1什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
Swordfall·2023-03-30 10:13

大数据(一) - hadoop生态系统及版本演化

大数据系列文章汇总链接-更新到15篇HDFS：分布式存储系统（HadoopDistributedFileSystem）：提供了高可靠性、高扩展性和高吞吐率的数据存储服务HDFS源自于Google的GFS
will的成长之路·2023-03-29 20:46

hbase架构详解

2、Hbase是一个高可用、高性能、面向列、可伸缩的分布式存储系统。
秃头小宝贝儿i·2023-03-29 08:40

HDFS架构原理

HDFS架构1、设计思想hdfs是一个很好的分布式存储系统，解决了一个系统盘存储不了大量数据的问题，故使用多台机器的磁盘空间作为文件的存储系统，并将一个文件切分成多个块，将切分后的多个块分散存储在多台机器上
大数据fighting·2023-03-28 19:39

一个数据仓库时代开始--Hive

换句话说，Hive是一个数据仓库基础设施，便于查询和管理驻留在分布式存储系统中的大型数据集。它提供了一种类SQL的查询语言HiveQL（HiveQueryL
隐峯·2023-03-28 17:37

浅谈Linux内核IO体系之磁盘IO

基本所有的技术栈都需要与IO打交道，分布式存储系统更是如此。本文主要简单分析一下磁盘IO，看看一个IO请求从发起到完成到底经历了哪些流程。
爱健身的兔子·2023-03-25 01:39

分布式系统

目录分布式存储系统分布式计算系统分布式消息队列系统分布式机器学习系统分布式框架分布式数据库分布式存储系统分布式存储系统分为两大类中心化控制架构(HDFS)和完全无中心架构(Ceph)。
骆驼整理说·2023-03-24 19:28
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他