分布式存储CEPH

ceph概述

1、什么是ceph？Ceph是一个开放、自我修复和自我管理的统一分布式存储系统。具有高扩展性、高性能、高可靠性的优点。2、为什么要使用ceph?ceph目前已得到众多云计算厂商的支持并被广泛应用。
songtaiwu·2023-04-07 12:29

ceph怎么搭建文件存储_SUSE专家谈Ceph落地之最佳实践

软件定义存储业内的重要开源项目Ceph可以说是目前业内最流行，应用最广泛的开源软件定义存储。
程序员良许·2023-04-07 12:29

分布式ceph完整存储理论 -01

分布式存储ceph一、ceph介绍1.1、ceph是什么ceph一个统一的、分布式的存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
FikL-09-19·2023-04-07 12:56

ceph磁盘集群

存储分类:1)DAS直连存储[硬盘]2)NAS网络附加存储[NFS,Samba...]提供文件系统共享3)SAN存储区域网络[iSCSI...]提供块共享4)分布式存储备注:文件系统(ext3,ext4
迎浪而上，逆浪而行·2023-04-07 12:25

Ceph扩容节点（新服务器）

Ceph扩容节点（新服务器）1.修改所有节点hosts文件，添加新增节点192.168.1.33node4：[root@vm30cluster]#cat/etc/hosts127.0.0.1localhostlocalhost.localdomain192.168.0.30node1192.168.0.31node2192.168.0.32node3192.168.0.33node42
jjxws·2023-04-07 12:54

Ceph测试系列（一）：Ceph 应用方案的服务器硬件选型 (2 of 2)

一、前言redhat官网给出不同应用场景时，其推荐的Ceph集群服务器硬件配置（包括CPU/Memory/Disk/Network）。仅作为服务器配置选择时参考，不做推荐使用。
Yannick_J·2023-04-07 12:23

CEPH分布式存储搭建(对象、块、文件三大存储)

集群配置信息：安装的ceph版本：cephversion12.2.12luminous配置所需源的地址wget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com
jerry-89·2023-04-07 12:23

世界500强是如何解决千亿流量留存问题的，《Ceph分布式存储架构》-使用CentOS 7部署 Ceph分布式存储架构-为他们解决什么问题。

文章目录一、Ceph概述1.1Ceph介绍1.2Ceph各组件介绍二、ceph集群部署实验2.1配置Ceph安装源2.2在xuegod63上安装ceph-deploy管理工具2.3离线安装ceph2.4
极客事纪·2023-04-07 12:21

分布式存储之ceph部署搭建

块存储：典型设备；磁盘阵列，硬盘作用：主要是将裸磁盘空间映射给主机使用，磁盘阵列（内含多块硬盘）做RAID操作或者LVM操作，逻辑划分出N块Logic盘并映射给主机使用，操作系统会识别到N块硬盘，但是无法感知到底是逻辑盘还是物理盘，所以还是会对其进行分区和格式化（无法共享数据）。每块逻辑盘实际上是由多块硬盘共同组成，在读写数据的时候，几块物理硬盘可以并行寻址和操作，大大提高了IO效率。优点：对块磁
9a9b3cafa4a0·2023-04-07 11:08

日常

local/Homebrew/Library/Taps/homebrew/homebrew-core/Formula/[email protected]文件注释brewinstall--build-from-sourcephp
江河湖海琴瑟琵琶·2023-04-07 09:51

Cephalometric Landmark Detection by Attentive Feature Pyramid Fusion and Regression-Voting阅读笔记

代码：https://github.com/runnanchen/Anatomic-Landmark-Detection自己改了一点的：https://github.com/Nightmare4214/Anatomic-Landmark-Detection摘要不同的landmark需要不同级别的分辨率和语义，因此作者提出了一种特征金字塔融合注意力模块（attentivefeaturepyramid
Nightmare004·2023-04-07 08:14

常见问题汇总（2）

关于存储的一些问题Ceph增加osd的方法如果在部署环境前无法识别硬盘，但是环境又要求存储必须为ceph，可以用如下方法：部署模式按ceph走，在磁盘划分的时候根据实际情况划分环境部署成功且各组件正常工作
weixin_34166847·2023-04-07 06:20

PySpark核心编程（核心RDD API、核心原理）

--弹性分布式数据集R：弹性：数据可以存放在内存中也可以存储在磁盘中D：分布式：分布式存储，用于分布式计算，RDD的数据是跨越机器存储（跨进程）D：数据集：是一个数据的集合，
喵内噶.·2023-04-07 05:16

监控神器-普罗米修斯Prometheus

不依赖分布式存储，单个服务器节点是自主的。通过基于HTTP的pull方式采集时序数据。可以通过中间网关进行时序列数据推送。通过服务发
tester_sz·2023-04-07 04:07

大数据之Hive

1、Hive是什么1.1概述在Hadoop项目中，HDFS解决了文件分布式存储的问题，MapReduce解决了数据处理分布式计算的问题。
冰河winner·2023-04-07 03:28

主流分布式存储技术对比分析：GFS、HDFS、GlusterFS、Ceph、Swift

1引言目前市面上各个厂家的分布式存储产品五花八门，但是如果透过产品本身的包装看到其背后的核心技术体系，基本上会分为两种架构，一种是有中心架构的分布式文件系统架构，以GFS、HDFS为代表；另外一种是完全无中心的分布式存储架构
米朵儿技术屋·2023-04-06 19:18

【6.824分布式系统笔记】LEC 3: GFS ｜HDFS、背景、GFS架构、文件读写、一致性

GFS论文笔记背景为什么构建分布式存储系统如此困难？需要大量机器并行来获得高性能→数据分割放置，即分片（
Mengo_x·2023-04-06 19:13

大数据导论（四：大数据的存储）

1.2管理问题这些大量的数据结构复杂，种类繁多，如何对分布、多态、异构的大数据进行管理的问题已经不期而至，传统的数据存储方式面对大数据的猛烈增长已不能满足需求，需要开展分布式存储的研究。
SupAor·2023-04-06 16:35

5分钟看懂Ulord

首先在说Ulord之前，先来说下什么是区块链技术（以下都是个人看法）简单易懂来说就是个分布式存储（分布式存储简单的说就是本来你用电脑数据就存在自己电脑上，用了区块链技术就会存储到很多人电脑上,大概这么理解就行
我是小夫呀·2023-04-06 16:00

ceph存储原理_Ceph存储引擎BlueStore简析

前文我们创建了一个单节点的Ceph集群，并且创建了2个基于BlueStore的OSD。
weixin_39527911·2023-04-06 14:53

ceph bluefs 写操作 源码解析

cephbluefs的写操作是由RocksDB的Write之类的操作而触发的，其最终经过层层调用，最后会调用bluefs提供的一些列精简过的接口。
帮我起个网名·2023-04-06 14:20

ceph bluefs 日志压缩解析

bluefs的操作大量增加时，日志也会增加，从而增加占用空间，由于文件系统的元数据在内存中都有记录，且内存中的元数据都是非重复的，因此可以通过遍历元数据，将元数据重新写到日志文件当中，即可实现日志的压缩，具体是_compact_log_async函数来实现的，其实现如下：old_log_jump_to=log_file->fnode.get_allocated();//获取已经分配的空间，这些空间
帮我起个网名·2023-04-06 14:20

bluefs

所以ceph通过一个简单文件系统bluefs来实现rocksenv的接口classBlueFS{public:CephContext*cct;#可以看到bluefs中支持下面这三种块设备staticconstexprunsignedMAX_BDEV
tiantao2012·2023-04-06 14:19

Ceph BlueStore Allocator

文章目录疑问1：为什么有了FreelistManager还需要Allocator问题澄清疑问2：逻辑段和位图区别DataStructureInitUsageBlueFSBlueStoreConfigSummary疑问1：为什么有了FreelistManager还需要Allocator问题澄清1、BlueFS不用FreelistManager管理块设备空间的使用情况，而是将其持久化记录在文件系统的日
勤学-365·2023-04-06 14:38

Ceph rgw中的元数据组织形式及存储结构分析

本来不想再写Ceph相关的文章了，最近在做ceph元数据优化研究及架构，整体思路是：将rados作为数据存储引擎，构建分布式元数据集群来管理元数据，如：将rgw或者fs相关的元数据从ceph的元数据池中抽取出来
lizhongwen1987·2023-04-06 14:32

Ceph BlueStore：BlueFS元数据恢复replay流程详解 + 元数据encode/decode

文章目录引言BlueFS本文结论BlueFS元数据replay代码BlueFS内存元数据replay代码函数入口：BlueFS::mount回放superblock：BlueFS::_open_super回放journal：BlueFS::_replay元数据encode/decode函数encodedecode参考文献引言BlueFSBlueFS用来存储RocksDB相关的file文件，在故障时
easonwx·2023-04-06 14:57

Ceph iSCSI Gateway：架构原理详解

文章目录为什么Ceph需要iSCSI？Ceph架构Ceph在应用场景的局限性局限有哪些？为什么存在局限？如何解决局限？什么是iSCSI？
easonwx·2023-04-06 14:56

Ceph RBD：条带（stripe）详解

CephRBD如何使用条带？
easonwx·2023-04-06 14:56

Ceph RBD：创建image + image元数据详解

{offset_idx}元数据汇总创建卷流程引言在CephRBD中，image是一个对外提供的逻辑概念，image由数据和元数据组成，数据和原数据都存储在底层RADOS对象中。
easonwx·2023-04-06 14:26

Ceph RBD：克隆 + 克隆卷元数据/数据IO详解

文章目录引言克隆概述本文结论克隆的元数据结构创建卷vol_0创建快照vol_0_snap_0创建克隆卷vol_0_snap_0_clone_0克隆卷元数据克隆卷的元数据有哪些？如何找到clone卷对应的原卷？如何找到clone卷对应的快照？如何通过原卷找到clone卷？主要元数据总结创建clone卷流程克隆卷数据创建卷vol_1，写入8M数据创建快照vol_1_snap_0创建克隆卷vol_1_s
easonwx·2023-04-06 14:26

Ceph BlueStore：BlueFS架构介绍 +元数据详解

文章目录概述BlueStore数据存储为什么需要BlueFS？BlueFS与RocksDB交互RocksDB数据文件RocksDB数据在BlueFS中存储BlueFS持久化元数据元数据组织结构元数据类详解bluefs_extent_t（data）bluefs_fnode_t（file）bluefs_super_t（superblock）bluefs_transaction_t（journal）Bl
easonwx·2023-04-06 14:15

【ceph】什么是Ceph？------（MinIO和ceph的区别|GFS（GlusterFS）、MFS、Ceph、Lustre|文档）

目录什么是Ceph？简介什么是块存储、文件存储和对象存储以及区别？
bandaoyu·2023-04-06 12:31

干货分享 | spdk技术简介和一些实践经验

01导读与机械硬盘相比，NVMe-ssd在性能、功耗和密度上都有巨大的优势，并且随着固态存储介质的高速发展，其价格也在大幅下降，这些优势使得NVMe-ssd在分布式存储中使用越来越广泛。
DPDK技术员·2023-04-06 12:44

2022-07-13极简医学——脑病

脑病Encephalopathy脑病，是一种以觉醒受损、注意力不集中、定向障碍为特征的全面型认知障碍的临床综合征。
咏而归_3a57·2023-04-06 05:34

ceph后端存储引擎

现在是2020年4月，ceph的发展已经到了BlueStore替代FileStore。
running_sheep·2023-04-06 04:35

Ceph Luminous 12 添加/删除/更换 OSD 详解

目录1.OSD介绍2.手动操作2.1手动删除OSD2.1.1把OSD踢出集群2.1.2停止OSD2.1.3删除OSD2.1.3.1CephLuminous及之后版本操作2.1.3.2Ceph其他版本操作
zzboat0422·2023-04-06 03:34

使用离线源部署ceph

所有Ceph集群都需要至少一个monitor，以及至少与集群中存储的对象副本一样多的OSD。引导初始monitor是部署Ceph存储集群的第一步。
weixin_46425916·2023-04-06 03:00

安装ceph dashboard

安装包yuminstallceph-mgr-dashboard启用模块cephmgrmoduleenabledashboard有可能需要强制启动cephmgrmoduleenabledashboard-
CooperXJ·2023-04-06 03:26

ceph n 版本 iops 测试

目的cephiops测试当前使用中的iops限制方法libvirt库，支持qemukvm（本文不再进行测试）ceph新版本提供的iops限制有两种方法librbd库kernel两种本文主要测试两者区别及可行性信息软件版本
Terry_Tsang·2023-04-06 03:23

手动部署 ceph 环境说明 (luminous 版)

环境说明CentOSLinuxrelease7.2(Core)主机名客户连接数据同步monaddrdataaddrosdjournalosddiskcephsvr-128040xx.199.128.40xxx
Terry_Tsang·2023-04-06 03:23

Ceph 整体架构

1.Ceph架构#1.1Ceph接口Ceph支持三种接口：Object：有原生的API，而且也兼容Swift和S3的APIBlock：支持精简配置、快照、克隆File：Posix接口，支持快照1.2Ceph
qq_42533216·2023-04-06 03:19

在龙芯3A4000上移植ceph15.2.13

记录一次龙芯移植，当初花了我很多时间，移植ceph推荐使用新一点的系统，不然会缺少很多依赖包。我使用的系统是银河麒麟v10服务器版（龙芯），所以打包出来的是rpm包。
fangjiaqi_hz·2023-04-06 03:18

ceph部署和使用详细教程

一、ceph介绍1、ceph起源Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。
大虾别跑·2023-04-06 03:47

centos7部署ceph+dashboard（nautilus）

前言ceph测试环境的搭建基本环境物理环境：VmwareWorkstaion系统版本：Centos-7.9-Minimal两个osd节点添加一块虚拟磁盘，建议不小于20Giphostnameservices192.168.150.101ceph-admin
lvbibir·2023-04-06 03:45

几个 Ceph 性能优化的新方法和思路

0.常规的Ceph性能优化方法（1）.硬件层面硬件规划：CPU、内存、网络SSD选择：使用SSD作为日志存储BIOS设置：打开超线程（HT）、关闭节能、关闭NUMA等（2）.软件层面LinuxOS：MTU
架构师成长营·2023-04-06 03:08

Ceph分布式存储的搭建（增加mon节点、模拟osd节点故障恢复）

文章目录一、Ceph分布式存储1.1、Ceph文件系统简述1.2、Ceph的优点二、Ceph架构和名称解释2.1、Ceph架构2.2、Ceph集群组件三、Ceph的存储过程四、Ceph搭建过程4.1、环境准备
诸葛钢铁云·2023-04-06 03:08

ceph部署踩坑——OSD服务无法启动

前话：部署ceph时，所有OSD节点的服务启动报错，无法正常启动服务。
小黑_深呼吸·2023-04-06 03:06

【Ceph】Ceph介绍、原理、架构

目录理解Ceph的三种存储接口:块设备、文件系统、对象存储干货｜非常详细的Ceph介绍、原理、架构1.Ceph架构简介及使用场景介绍1.1Ceph简介1.2Ceph特点1.3Ceph架构1.4Ceph核心组件及概念介绍
bandaoyu·2023-04-06 03:03

ceph基础架构详解

本地存储的本地的文件系统，不能再网络上用.）区域存储网络:专用存储网络(接交换机形成专用的存储网络)SAN==》对于稳定性要求比较高的：金融/银行网络附加存储:对外服务by网络,任何设备都可以访问2.分布式存储
黑猫警张Evans·2023-04-06 03:02

龙芯Ceph 集群手动部署（LoongArch架构、Ceph N版、手动部署MON、OSD、MGR、Dashboard服务）

基础环境信息CPU：龙芯3C5000L×4硬盘：一块256的nvme用于安装操作，3块2T的HDD盘用作Ceph存储盘。
动感超人不会飞～·2023-04-06 03:00
上一页 40 41 42 43 44 45 46 47 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他