分布式存储系统

各类分布式文件系统的区别和概述 | HDFS、GFS、Ceph、TFS、Moosefs、IPFS等

shepdogshepdog基本架构CephFastDFSfastDFS介绍Trackerserver追踪服务器Storageserver储存服务器客户端Client读写操作：写入数据下载文件参考开源分布式存储系统的对比
stone_fall·2023-09-23 23:56

ceph分布式存储部署

一、概述是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。特点1、统一存储虽然ceph底层是一个分布式文件系统，但由于在上层开发了支持对象和块的接口。
lsqaa·2023-09-22 07:55

ceph分布式存储

RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
载雨舟·2023-09-22 04:44

MQ - 17 集群篇_（性能）分布式存储系统的编程技巧

文章目录导图PrePageCache调优和DirectIO白话概念核心逻辑失效场景优化方案FileChannel和mmapFileChannelmmap预分配文件、预初始化、池化直接内存（堆外）和堆内内存同步刷盘新的存储AEP线程绑核SSD的4KB对齐其他一些优化手段JVM调优减少线程切换Unsafe其他知识点总结<
小小工匠·2023-09-22 01:01

开源分布式存储系统（HDFS、Ceph）架构分析

文章目录中间控制节点架构-HDFSNameNode节点分析DataNode节点分析SecondNameNode节点分析Client分析完全无中心架构-CephCephMonitor分析CephOSD分析CephManager分析CephClients分析小结HDFS优点缺点Ceph优点缺点参考中间控制节点架构-HDFS以HDFS（HadoopDistributionFileSystem）为代表的架
gengduc·2023-09-20 05:25

Hadoop的YARN高可用

一、YARN简介Hadoop2.0即第二代Hadoop，由分布式存储系统HDFS、并行计算框架MapReduce和分布式资源管理系统YARN三个系统组成，其中YARN是一个资源管理系统，负责集群资源管理和调度
万里长江横渡·2023-09-19 20:23

系统架构常用的工具

HBaseHBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。
星火撩猿·2023-09-16 21:25

手动创建k8s local-pv

分布式存储系统，如分布式数据库Cassandr
myonlyzzy·2023-09-15 22:15

Hbase记录第二篇

而面向列存储，只读取需要的那个列的值，就更适合海量数据的读取统计分析hbase高可靠，高性能，面向列，可伸缩的分布式存储系统介绍按照列簇存储，一个列簇包含很多列。
我爱肉肉·2023-09-14 15:19

[译] [论文] Bigtable: A Distributed Storage System for Structured Data

标题直译为：《Bigtable：适用于结构化数据的分布式存储系统》。摘要Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。
东京的雨不会淋湿首尔·2023-09-10 17:20

直播 | SDS 容灾方案，让制品数据更安全

近日，腾讯CODINGWePack制品管理系统V1以及腾讯CODINGDevOps研发效能管理平台V7与XSKY星辰天合的统一数据平台XEDP及天合翔宇分布式存储系统完成互相兼容认证，在数据层面满足了共同客户敏捷开发的高可用建设合规要求
·2023-09-09 09:15

k8s安装elasticsearch集群

StatefulSet控制器创建的Pod适合用于分布式存储系统，它最大的特点是各个Pod的数据不一样，各个Pod无法使用同一个存储卷。
MasonYyp·2023-09-09 05:25

什么是对象存储

这些对象被存储在分布式存储系统中，通常由多个物理设备或服务器组成，以提供高可用性、冗余和可伸缩性。以下是对象存储的一些关键特点和优点：弹性扩展性：对象存储系统可以
贾斯汀玛尔斯·2023-09-08 13:19

【软考】系统架构设计师-历年论文题目（2013-2022）

2013-2022年系统架构设计师历年论文题目如下：时间题目20131.论软件架构建模技术与应用；2.论企业应用系统的分层架构风格；3.论软件可靠性设计技术的应用；4.论分布式存储系统架构设计20141
Jackilina_Stone·2023-09-08 01:32

解读MapReduce程序实例

Hadoop的四大组件：（1）HDFS：分布式存储系统；（2）MapRedu
大禹编程扛把子·2023-09-05 14:03

分布式计算在云计算中的作用

云计算基于分布式计算技术，它离不开Google的三大核心技术，GFS（GoogleFileSystem，Google文件系统）分布式存储系统，MapReduce分布式处理技术和BigTable分布式数据库
EmmauelZ·2023-09-03 22:54

什么是 LSM 思想？它的优缺点都那些？

它最初由闪存文件系统（FlashFileSystem）和大规模分布式存储系统（如Bigtable和HBase）采用，并在键值存储引擎中广泛应用，如LevelDB和RocksDB。
VicRestart·2023-09-01 22:56

Erasure-Code(纠删码) 最佳实践

典型如Google新一代分布式存储系统colossus系统的Reed-solomon算法、WindowAzureStorage的LRC算法等等。EC(Erasure-Code)算法的最底层
大隐隐于野·2023-09-01 10:44

Ceph基础知识和基础架构认识

1Ceph基础介绍Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。
大隐隐于野·2023-09-01 10:11

短视频矩阵系统独立技术运行--云端开发储存

云数据库将数据存储在云端，通过互联网实现全球访问，具有高可靠性和高可扩展性；云存储是一种云服务，可用于存储任何类型的数据，包括文档、音频、视频等；对象存储是一种分布式存储系统，可存储大量非结构化数据，如图像
云罗互动yx898978·2023-09-01 08:23

非常详细的 Ceph 介绍、原理、架构

非常详细的Ceph介绍、原理、架构1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
大隐隐于野·2023-09-01 07:30

Minio分布式存储系统

Minio分布式存储系统Minio简介分布式系统高可用设计分布式设计数据保护高可用限制一致性安全Minio纠删码Minio如何使用纠删码Minio优点位衰减bitrot保护应用场景Minio简介Minio
m0_67403073·2023-08-31 19:32

谈谈对OceanBase单机分布式一体化的思考

同时，他也主导了两次OceanBaseTPC-C测试并打破世界纪录，著有《大规模分布式存储系统：原理与实践》。
OceanBase数据库官方博客·2023-08-31 15:40

ceph-架构扩展

理论：Ceph是一个开源的、统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
嘿嘿龙帅·2023-08-28 05:15

【大数据】初步认识StarRocks

StarRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产品。
慕沐.·2023-08-28 00:32

SpringBoot+Vue3+Element Plus 打造分布式存储系统(完结)

download：SpringBoot+Vue3+ElementPlus打造分布式存储系统整数类型是一种根本的数据类型，它能够表示没有小数局部的数值，如0,1,-2,100等。
·2023-08-27 23:38

SpringBoot+Vue3+Element Plus 打造分布式存储系统(完结)

download：SpringBoot+Vue3+ElementPlus打造分布式存储系统整数类型是一种根本的数据类型，它能够表示没有小数局部的数值，如0,1,-2,100等。
·2023-08-27 23:36

架构扩展-ceph(1)

理论：Ceph是一个开源的、统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
努力买大G·2023-08-27 22:32

知乎 HBase 实践

前言HBase是一个基于Hadoop面向列的非关系型分布式数据库(NoSQL),设计概念来源于谷歌的BigTable模型，面向实时读写、随机访问大规模数据集的场景，是一个高可靠性、高性能、高伸缩的分布式存储系统
java菜·2023-08-27 21:03

Hbase文档--架构体系

架构体系关键组件介绍：HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
一单成·2023-08-26 07:49

阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？

作者：邱从贤（山智）众所周知Flink是当前广泛使用的计算引擎，Flink使用checkpoint机制进行容错处理[1]，Flink的checkpoint会将状态快照备份到分布式存储系统，供后续恢复使用
Apache Flink·2023-08-23 07:02

没用过 HBASE 数据库？看完你就是老手了

一、Hbase简介1、什么是HbaseHbase是一个高可靠性（存储在hdfs上，有副本机制），高性能，面向列，非关系型的数据库（类似redis），可伸缩的分布式存储系统（因为是存储在hdfs上），hbase
___n·2023-08-20 12:11

学一点Ceph知识：初识Ceph

Ceph是一个开源的分布式存储系统，可大规模扩展、高性能、无单点故障，在普通的服务器上可以支持到PB级容量，商用机器上支持的容量可以达到EB级别。
清茶豆奶·2023-08-19 15:59

分布式存储Ceph技术

不完善）cephceph简介ceph的优势ceph架构ceph的基本组件ceph结构ceph存储种类和应用场景块存储文件存储对象存储ceph对象存储的过程拓展（ceph名词解释）分布式存储什么是分布式存储分布式存储系统
Mr_Wzzzz·2023-08-19 06:05

非常详细的 Ceph 介绍、原理、架构

1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
大隐隐于野·2023-08-18 06:18

apache doris和StarRocks的区别

StarRocks是一个分布式存储系统，它建立在ApacheHadoop之上，旨在为大型超级计算机提供结构化数据存储解决方案。StarRocks采用了列式存
6个日的梦想·2023-08-16 23:01

滴滴Ceph分布式存储系统优化之锁优化

摘自：https://mp.weixin.qq.com/s/oWujGOLLGItu1Bv5AuO0-A2020-09-0221:450.引言Ceph是国际知名的开源分布式存储系统，在工业界和学术界都有着重要的影响
YoungerChina·2023-08-16 22:09

API 设计的基本原则

1、分层：高层API要为业务服务，贴近服务：业务可以是一个真实的业务系统，也可是一个分布式存储系统总之。
旺财旺财·2023-08-16 00:40

Ceph分布式存储系统

Ceph是一个开源的分布式存储系统，旨在提供高性能、高可靠性和可扩展性的存储解决方案。
summer_west_fish·2023-08-14 11:18

Ceph分布式存储系统优化分析

Ceph支持多种存储访问接口，现有的多种性能测试工具都可用于Ceph的性能测试，如测试块接口性能的fio，iometer等；测试CephFS接口的filebench，fio等;测试对象接口的cosbench等。Ceph有专用的基准测试集CBT，其包含radosbench，librbdfio，kvmrbdfio和rbdfio。radosbench基准测试使用cephcommon软件包附带的rados
YoungerChina·2023-08-14 07:57

滴滴李航：分布式存储 Ceph 介绍及原理架构分享

导读：本文主要从架构简介使用场景，以及内部IO流程、心跳机制、通信框架、CRUSH算法、QOS等多个方面逐渐介绍分布式存储系统Ceph的特性。希望对你有所帮助。
架构文摘·2023-08-13 21:39

车云一体化系统基础理论

）、离线数据处理（Spark）、用户行为日志分析（Flink）；通过RocketMQ串起车端应用和云端基础设施，通过MQTT上行车端行为，通过RocketMQ发布车端行为和整车日志，云端订阅后持久化到分布式存储系统
SchopenhauerZhang·2023-08-08 23:53

springboot 对接 minio 分布式文件系统

区别于分布式存储系统，minio的特色在于简单、轻量级，对开发者友好，认为存储应该是一个开发问题而不是一个运维问题。2.mi
前进滴蜗牛·2023-08-07 22:27

基于Java的新闻全文搜索引擎的设计与实现

该搜索引擎通过Scrapy网络爬虫工具获取新闻页面，将新闻内容存储在分布式存储系统HBase中，并利用倒排索引及轮排索引等索引技术对新闻内容进行索引，实现了常用的新闻搜索功能，如短语查询、布尔查询、通配符查询等
阿坨·2023-08-07 08:42

NoSql数据库，是怎么解决我们高并发场景下MySql表现的不足

通过前面几天的学习，我们在面对高并发流量时，为了应对大量读写请求，特此将我们的普通存储系统开发成了一套分布式存储系统。主要基于读写分离主从复制以及数据分库分表实现的。
架构师修炼·2023-08-03 14:35

分布式存储系统中一致性与可用性核心实战

在分布式存储系统中使用数据副本具备以下几
架构师修炼·2023-08-03 14:04

分布式存储 介绍

一、分布式存储分布式系统是大量普通的PC通过网络互连，对外提供一个整体的存储服务分布式存储系统有以下的特性：可扩展性：分布式存储系统可以扩展到几百台的集群规模，而且随着集群规模的增长，系统的整体性能呈线性增长
陈超同学·2023-07-31 07:23

高性能系统架构设计

大型动态应用系统又可分为几个子系统：Web前端系统负载均衡系统数据库集群系统缓存系统分布式存储系统分布式服务器管理系统代码分发系统1、Web前端系统为了达到不同应用的服务器共享、避免单点故障、集中管理、
霍夫曼·2023-07-29 12:22

K8s使用Ceph作为后端存储

Ceph概述部署Ceph集群Ceph存储使用Pod使用Ceph持久化数据Ceph监控Rook部署Ceph1❖Ceph概述Ceph介绍Ceph架构Ceph核心概念Ceph介绍Ceph是一个开源的分布式存储系统
主主主主公·2023-07-29 00:19

ceph集群搭建

文章目录理论知识具体操作搭建ceph本地源yum源及ceph的安装配置NTP（解决时间同步问题）部署ceph自定义crush理论知识Ceph是一个分布式存储系统，并且提供了文件、对象、块存储功能。
王哞哞哞哞·2023-07-27 23:36
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他