Ceph分布式存储

Hadoop：全面深入解析

Hadoop是一个用于大规模数据处理的开源框架，其设计旨在通过集群的方式进行分布式存储和计算。

CloudJourney·2025-03-09 21:29

Hadoop介绍：什么是Hadoop？了解Hadoop的应用

一、认识Hadoop框架Hadoop是一个提供分布式存储和计算的开源软件框架，使用Java语言编写，具有高扩展性、高容错性、无共享和高可用（HA）等特点，非常适合处理海量数据。

Zzzxt007·2025-03-09 21:55

HDFS的设计架构

1.HDFS的设计思想HDFS的设计目标是解决大规模数据存储和处理的问题，其核心设计思想包括：（1）分布式存储-数据被分割成多个块（Block），并分布存储在集群中的多个节点上。

F_0125·2025-03-09 05:21

一致性哈希HashRing

一致性哈希HashRing一致性哈希算法是一种高效的分布式存储和负载均衡技术，广泛应用于分布式系统中，如缓存集群、分布式数据库等。

留白1108·2025-03-09 04:12

基于一致性哈希的分布式Top-K

一致性哈希（ConsistentHashing）是一种常用于分布式存储和负载均衡的技术，而Top-K查询则是数据分析中的经典问题。

留白1108·2025-03-09 03:35

大数据运维实战指南：零基础入门与核心技术解析（第一篇）

大数据运维实战指南：零基础入门与核心技术解析（第一篇）系列文章目录第一篇：大数据运维概述与核心技能体系第二篇：Hadoop生态体系与集群部署实战第三篇：分布式存储系统运维与优化第四篇：资源调度框架YARN

emmm形成中·2025-03-09 01:19

论分布式存储系统架构设计

在这种背景下，分布式存储系统（DistributedStorageSystem）应运而生。

一休哥助手·2025-03-08 21:37

Elasticsearch 分布式架构解析

本文将深入探讨Elasticsearch的分布式存储和检索机制，解释其背后的原理及其优势。

Mr' 郑·2025-03-08 15:04

Ceph实战（一）-分布式存储介绍与原理架构概述

深度视觉机器·2025-03-08 07:57

算力网驱动数字经济多场景融合创新

其核心架构整合了异构计算、分布式存储和智能调度系统，形成覆盖云端、边缘端及终端的协同网络。

智能计算研究中心·2025-03-08 03:01

大数据面试系列之——Hadoop

Hadoop的三个核心：HDFS（分布式存储系统）MapReduce（分布式计算系统）YARN(分布式资源调度)1.Hadoop集群的几种搭建模式1.单机模式：直接解压安装，不存在分布式存储系统2.伪分布式

潜心_守道·2025-03-07 07:17

十二、Redis Cluster（集群）详解：原理、搭建、数据分片与读写分离

RedisCluster（集群）详解：原理、搭建、数据分片与读写分离RedisCluster是Redis官方提供的分布式存储方案，通过数据分片（Sharding）实现水平扩展（scalability），

伯牙碎琴·2025-03-06 18:41

阿里云MaxCompute面试题汇总及参考答案

的核心功能及适用场景，与传统数据仓库的区别解释MaxCompute分层架构设计原则，与传统数仓分层有何异同MaxCompute的存储架构如何实现高可用与扩展性解析伏羲（Fuxi）分布式调度系统工作原理盘古（Pangu）分布式存储系统数据分片策略计算与存储分离架构的资源弹性扩展方案解释

大模型大数据攻城狮·2025-03-06 10:05

hadoop

Hadoop是一个用于分布式存储和处理大规模数据的开源框架，它的架构主要由以下几个核心组件组成：1.Hadoop生态系统核心组件Hadoop的核心架构主要包括HDFS（HadoopDistributedFileSystem

百里自来卷·2025-03-06 06:00

云原生存储架构：构建数据永续的新一代存储基础设施

引言：重新定义数据基础设施边界蚂蚁集团基于Ceph构建的全闪存存储集群达到EB级规模，单集群IOPS突破1亿，延迟稳定在200μs内。

桂月二二·2025-03-04 15:14

Ceph Cookbook: 掌握分布式存储技术的实践指南

本文还有配套的精品资源，点击获取简介：《CephCookbook》是一本面向希望深入学习Ceph分布式存储系统的读者的实用指南。本书通过实际案例和操作指导，全面介绍Ceph的核心概念和关键技术。

云山雾村·2025-02-28 11:31

深入探讨Ceph：分布式存储架构的未来

分布式存储技术应运而生，成为解决现代数据存储难题的关键方案，而Ceph作为分布式存储领域的佼佼者，正日益受到广泛关注和应用。

深度Linux·2025-02-28 10:50

Redis分布式存储案例面试题

答：单机单台肯定是不可能的，肯定是分布式存储。问：用redis如何落地？

哎呀哎呀诶·2025-02-28 02:10

对象存储

对象存储（CloudObjectStorage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，具有高扩展性、低成本、可靠安全等优点。

Mini＇ miss·2025-02-28 01:33

redis 集群节点起不来_深入学习Redis：集群

一、集群的作用集群，即RedisCluster，是Redis3.0开始引入的分布式存储方案。集群由多个节点(No

翻书汪·2025-02-25 11:48

开源分布式存储系统在云原生数据库领域的实践与应用

本文深入探讨了Curve项目，一个专为云原生环境设计的开源分布式存储系统。文章详细介绍了Curve的块存储架构、其在云原生数据库领域的实际应用，并展望了项目的未来发展方向。

ITPUB-微风·2025-02-25 08:33

云存储、云计算与分布式存储、分布式计算是一回事吗？

随着互联网的蓬勃兴起，大数据、人工智能、物联网、云计算与云存储等这些专业词汇在大众视野内出现的频率越来越高，再加上近几年分布式技术异军突起，更使得分布式存储、分布式计算等成为热词。

IPFS星际无限·2025-02-23 05:22

【分布式理论13】分布式存储：数据存储难题与解决之道

文章目录一、数据存储面临的问题二、RAID磁盘阵列的解决方案1.RAID概述2.RAID使用的技术3.RAID的代表性等级三、分布式存储的新思路1.分布式存储背景与特点2.分布式存储的组成要素一、数据存储面临的问题在单机系统时代

roman_日积跬步-终至千里·2025-02-23 04:19

RocketMQ（一）：消息中间件缘起，一览整体架构及核心组件

一览整体架构及核心组件消息队列MessageQueue，简称MQ在队列的基础上，加入生产者与消费者模型，使用队列作为载体就能够组成简单的消息队列，在队列中“运输”的数据被称为消息消息队列可以在单节点内存中使用，也可以作为分布式存储的中间件来使用由于项目的架构组织

菜菜的后端私房菜·2025-02-22 06:50

分布式NAS集群+ceph+CTDB

分布式存储系统中，分布式NAS、CTDB和Ceph常常被结合使用以提供高性能、高可用性和灵活扩展的存储解决方案。

Comedy_宁·2025-02-22 05:09

4.Ceph监控

Ceph监控演示如何监控一个Ceph集群。我们将学习如何用ceph的命令行工具进行监控。监控集群的整体状态健康状态ceph命令的health选项查看集群的健康状态。

yongbang_yan·2025-02-22 05:08

ceph fs status 输出详解

cephfsstatus命令用于显示Ceph文件系统的状态信息，其中各列的含义如下：RANK：元数据服务器（MDS）的等级或标识符。

时空无限·2025-02-22 05:38

ceph中报错“ clock skew detected on mon.ceph2, mon.ceph3”

自己搭建的ceph集群，显示时间不同步:clockskewdetectedonmon.ceph2,mon.ceph3但是查看chrony进程已经启动，ceph配置文件中,如下参数也已经配置，

下一页盛夏花开·2025-02-22 04:06

ceph-deploy osd activate xxx bluestore ERROR

cephluminous12.2.0bluestore添加osd出错:[ceph_deploy.conf][DEBUG]foundconfigurationfileat:/root/.cephdeploy.conf

only火车头·2025-02-22 04:33

ceph bluestore Blob 分析

cephversion:11.0.0bluestore包含一个非常重要的结构，Blob,本节主要分析Blob，注意ceph版本是基于11.0.0的。

only火车头·2025-02-22 04:03

ceph HEALTH_WARN clock skew detected on mon.f, mon.o, mon.p, mon.q

问题cephhealthdetail[WRN]MON_CLOCK_SKEW:clockskewdetectedonmon.f,mon.o,mon.p,mon.qmon.fclockskew0.243128s

时空无限·2025-02-22 04:29

一次交换机故障导致的云平台（opensatck+ceph）不可用的记录

前言发现几年前记录的一次由于交换机故障导致的云平台使用异常的问题，因为比较少见所以也整理记录一下一、细节过程用户联系说好多运行在云主机上的网页访问不了了，需要处理一下。甲方现场还挺远，我就先登陆在虚拟机上部署的堡垒机，发现堡垒机也不好使。机房运维联系说有台业务交换机坏了，有备件，正在更换。换上之后，过了一会，堡垒机就好使了。赶紧登陆上去检查服务。存储集群已经开始自动恢复，虚拟机也逐渐恢复了业务能力

大新新大浩浩·2025-02-22 04:29

k8s rook-ceph MountDevice failed for volume pvc An operation with the given Volume ID already exists

https://github.com/rook/rook/issues/4896环境kubeadm搭建的k8s集群，rook-ceph部署的ceph存储，monpod所在宿主机和挂载客户端机器pod所在机器不在一个二层网络里

时空无限·2025-02-20 02:36

rook-ceph无法登录dashboard

环境ubuntu22.04tlsk8s1.20.2现象搭建好ceph集群环境后，执行如下命令获取admin登录账号的密码kubectl-nrook-cephgetsecretrook-ceph-dashboard-password-ojsonpath

时空无限·2025-02-20 02:06

Rook-ceph(1.92最新版)

rbd模块modproberbdcat>/etc/rc.sysinit/etc/sysconfig/modules/rbd.modulesfilesystem.yaml<ceph.rook.io

野猪佩挤·2025-02-20 01:32

ceph nautilus(14.2.22) 通过ansible部署grafana无法启动

cephnautilus(14.2.22)通过ansible部署grafana无法启动一、ceph环境ceph版本：nautilus(14.2.22)二、cephansible部署1、在cephansible

Ethan@YL·2025-02-20 01:00

ansible部署ceph

前言：ceph的官网有坑。按照官网部署，不会一蹴而就。会遇到各种各样的问题，ceph文档有待改进。

时空无限·2025-02-20 01:30

ansible进行ceph-rgw部署

用户管理用户创建执行下面的命令新建一个用户(S3接口):radosgw-adminusercreate—uid={username}—display-name=”{display-name}”[—email={email}]实例如下:radosgw-adminusercreate—uid=johndoe—display-name=”JohnDoe”—email=john@example.com获取

睿江云计算·2025-02-20 01:57

（一）大数据---Hadoop整体介绍（架构层）----（组件(3)

=================================================================================基础的技术包含数据的采集、数据预处理、分布式存储

2401_84166965·2025-02-19 16:15

Redis 集群模式的工作原理能说一下么？

有一些Redis中间件，你读写Redis中间件，Redis中间件负责将你的数据分布式存储在多台机器上的Re

小新杂谈社·2025-02-19 05:16

Fink与Hadoop的简介以及联系

Hadoop：1、Hadoop是一个分布式存储和批处理框架

Bugkillers·2025-02-18 07:24

HBase简介：高效分布式数据存储和处理

HBase的核心特点包括：分布式存储：HBase使用Hadoop分布式文件系统（HDFS）作为底层存储，数据被分布在集

代码指四方·2025-02-18 03:07

AI 大模型应用数据中心建设：高性能计算与存储架构

接着，讨论了存储架构，包括存储类型、分布式存储系统和数据一致性策略。本文还提

AI天才研究院·2025-02-17 20:21

ClickHouse创建分布式表

由于是涉及到分布式存储，保证高可用就必须有数据冗余—即副本(replica)。Clickhouse依靠ReplicatedMergeTree引擎族与Zookeeper实现了

期待着2013·2025-02-15 06:41

分布式存储--大规模订单架构设计

架构一：MySQL+HBase+ElasticsearchMySQL存储实时订单，HBase存储历史订单，Elasticsearch实现订单的多维度搜索。架构复杂，运维维护成本高架构二：MySQL+TablestoreTablestore其实是HBase+Elasticsearch，既能存储大量数据，也能全文搜索架构三：分布式数据库TiDB+全文搜索功能参考文章

梦江河·2025-02-15 03:50

Web3 的虚实融合之路：从虚拟交互到元宇宙构建

它依托于区块链、分布式存储等技术，实

dingzd95·2025-02-13 22:55

Ceph 网络模块(1) - 网络模块基本结构

Ceph网络模块基本结构本文基于Jewel版本对Ceph的网络模块进行分析，主要针对AsyncMessenger的方式。

hequan_hust·2025-02-10 01:10

Ceph 架构以及部署

Ceph是一个开源的分布式存储系统，它提供了对象存储、块存储和文件系统存储。Ceph的设计目标是高度可扩展性和高性能，同时提供无单点故障的高可用性。

完颜振江·2025-02-10 00:35

深入解析 GBase 数据库集群架构：高可用与高性能的结合

一、GBase数据库集群架构的特点1.分布式存储与计算GBase的集群架构采用分布式存储与计算的设计，将数据分布到多个节点中，每个节点

big crab·2025-02-09 17:43

深度剖析分布式存储架构

【摘要】本文介绍了分布式存储的架构类型、分布式理论、不同的分布式文件系统和分布式键值系统等，较为系统详尽。全文约2万字，可收藏。

罗伯特之技术屋·2025-02-09 07:28

推荐频道