E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
crushmap
Ceph学习 -- (3)Ceph接口与存储引擎
clustermapclustermapmonmaposdmappgmapcrushmaprados集群:1、mon集群负责:1、监控全局状态-》clustermap1、osddaemonmap2、monitormap3、pgmap4、
crushmap
2
肥海学习日志
·
2024-01-10 07:02
大数据
ceph
linux
ceph之rados设计原理与实现:crush算法
执行命令cephosdcrushdump可以查看当前集群crush信息其中会输出可调crush参数"tunables"、规定的若干规则"rules"、以及
crushmap
。
mxy990811
·
2024-01-01 14:51
ceph
ceph块存储学习
CephMonitor:功能是维护整个集群健康状态,提供一致性的决策,包含了Monitormap、OSDmap、PG(PlacementGroup)map和
CRUSHmap
。CephMDS:功能是保存
吃面包的刺猬
·
2023-12-22 20:44
ceph
学习
分布式存储ceph视频教程
III-Storage-02-3-ceph-installation.mp4容器-III-Storage-02-4-ceph-internal.mp4容器-III-Storage-02-5-ceph-
crushmap
.mp4
CodeistheLaw
·
2023-11-29 22:51
014 Ceph管理和自定义
CRUSHMAP
一、概念1.1Ceph集群写操作流程client首先访问cephmonitor获取clustermap的一个副本,知晓集群的状态和配置数据被转化为一个或多个对象,每个对象都具有对象名称和存储池名称以PG数为基数做hash,将对象映射到一个PG根据计算出的PG,再通过CRUSH算法得到存放数据的一组OSD位置(副本个数),第一个是主,后面是从客户端获得OSDID,直接和这些OSD通信并存放数据注:以
weixin_30949361
·
2023-11-06 19:39
运维
开发工具
CEPH自定义
crushmap
CEPH自定义
crushmap
实现储存隔离文章目录CEPH自定义
crushmap
实现储存隔离一、更新规则1、获取规则信息2、更改规则以及规则说明二、rbdpool之间的数据迁移Kubernetesceph-csi
思考人生的莱纳
·
2023-11-06 19:39
ceph
ceph
k8s
ceph学习(2)——crush map 故障域划分
crushmap
是ceph集群最重要的组成部分之一,crush算法实现了ceph集群的去中心化,这也是它实现分布式的关键,简单来说,crush算法决定了客户端的数据写到哪,从哪读取客户需要的数据。
jiangxi_
·
2023-11-06 19:38
ceph
ceph分布式存储集群搭建
ceph
crush
map
存储池
故障域
第三课 ceph基础学习-
CrushMap
和RDB高级功能
第三课ceph基础学习-
CrushMap
和RDB高级功能文章目录第三课ceph基础学习-
CrushMap
和RDB高级功能第一节
CrushMap
调整1.1
CrushMap
简介1.2
CrushMap
实验拓扑图
道教儒佛电磁波
·
2023-11-06 19:04
Ceph入门和实践
ceph
学习
Ceph:关于Ceph 中创建和管理自定义 CRUSH Map
写在前面准备考试,整理Ceph相关笔记博文内容涉及,管理和定制
CRUSHMap
以及管理OSDMap理解不足小伙伴帮忙指正对每个人而言,真正的职责只有一个:找到自我。
山河已无恙
·
2023-11-06 19:02
Ceph
ceph
android
ceph cluster map
clustermap是多个map的组合,包括monitormap,osdmap,pgmap,
crushmap
以及mdsmap。
S1436006750
·
2023-10-17 23:20
Ceph
Crush Map规则的定制
参阅:https://ceph.readthedocs.io/en/latest/rados/operations/crush-map/(一)手动编辑
CrushMap
规则生产环境中,做类似调整尽量在磁盘为空磁盘的情况下进行调整或者提前规划好
深度遗忘
·
2023-09-27 02:18
【北亚企安数据恢复】Ceph存储介绍&Ceph数据恢复流程
MON负责监控整个集群,维护集群的健康状态,维护展示集群状态的各种图表,如OSDMap、MonitorMap、PGMap和
CRUSHMap
。OSD负责存储数据、复制数据、平衡数据、恢
北亚数据恢复
·
2023-09-26 16:05
服务器数据恢复
数据恢复
ceph数据恢复
ceph
数据恢复
存储数据恢复
服务器数据恢复
ceph数据恢复
【北亚企安数据恢复】Ceph存储基本概念介绍&Ceph数据恢复流程
MON负责监控整个集群,维护集群的健康状态,维护展示集群状态的各种图表,如OSDMap、MonitorMap、PGMap和
CRUSHMap
。OSD负责存储数据、复制数据、平衡数据、恢
·
2023-09-26 15:05
数据恢复
Ceph crush运行图
Crushmap
介绍ceph集群中由monitor负责维护的运行图包括:Monitormap:监视器运行图osdmap:osd运行图PGmap:PG运行图
Crushmap
:crush运行图Mdsmap:
林凡修
·
2023-06-23 00:52
ceph
ceph
ceph 笔记整理
ceph查看、修改
crushmap
直接通过ceph命令1、创建对应的rootcephosdcrushadd-bucketssdrootcephosdcrushadd-bucketsasroot2、创建对应的
Man_In_The_Night
·
2023-06-19 01:53
ceph
ceph
笔记
整理
ceph-创建使用rule-ssd规则的存储池
无需手动修改
crushmap
,极大的减少了人为的操作。
wangyiyan212
·
2023-06-14 04:24
ceph
存储/云计算
ceph
ceph---ceph osd DNE状态对集群的影响
删除一块磁盘,由于没有从
crushmap
中删除,导致一块磁盘的状态变为DNE(doesnotexist)。DNE对集群有影响。
yysalad
·
2023-04-03 04:26
ceph
ceph osd 迁移方案
cephmon在cephosd工作过程中,都需要与cephmon进行沟通因此整个ceph集群迁移过程中,需要确保cephmon完成安全迁移即可方案一分批迁移思路保证当前ceph集群可用,在线确保当前以机柜方式进行
crushmap
Terry_Tsang
·
2023-04-03 04:36
ceph
ceph存储扩容(新盘新建存储池)
1、换上新盘后先使用命令做raid2、ceph创建新存储池(注:需要在存储安装完成后操作)2.1修改/etc/ceph/ceph查看是否关闭自动生成
crushmap
若已经关闭,则无需其他操作;若没有关闭
王大江1018
·
2023-01-20 08:26
Ceph专栏
ceph 009 管理定义
crushmap
故障域
管理和自定义
crushmap
定义pg到osd的映射关系通过crush算法使三副本映射到理想的主机或者机架更改故障域提高可靠性pg到osd映射由crush实现下载时需要将对象从osd搜索到,组成文件,那么对象多了就会效率变低
supermao12
·
2022-08-20 10:00
Ceph实践之
Crushmap
相关
Crushmapdevices搭建好集群后(本文所有操作基于ceph版本luminous),在没有添加osd进集群时,此时通过'cephosdcrushdump'查看
crushmap
的设备,你会发现此时的
咏箢
·
2021-06-20 06:12
Ceph 架构及性能优化
对分布式存储系统的优化离不开以下几点:1.硬件层面硬件规划SSD选择BIOS设置2.软件层面LinuxOSCephConfigurationsPGNumber调整
CRUSHMap
其他因素硬件层面1、CPUceph-osd
·
2021-02-24 18:59
Ceph 架构及性能优化
对分布式存储系统的优化离不开以下几点:1.硬件层面硬件规划SSD选择BIOS设置2.软件层面LinuxOSCephConfigurationsPGNumber调整
CRUSHMap
其他因素硬件层面1、CPUceph-osd
·
2021-02-24 18:49
ceph 指定OSD创建pool
1获取
crushmap
[root@ceph-admingetcrushmap]#cephosdget
weixin_34075551
·
2020-09-13 03:57
Ceph 不同的osd盘 创建不同类型的pool
###查看
crushmap
[root@ceph01~]#cephosdgetcrushmap-ocrushmap.txt97[root@ceph01~]#crushtool-dcrushmap.txt-ocrushmap-decompile
xdcloud
·
2020-09-13 00:29
Ceph硬件选型
MONMON负责管理
CRUSHMAP
,并不是CPU密集型,对内存依赖大,因为要实现数据的快速访问。CPU可以配置不高,但是内存要足量
chitun9294
·
2020-08-24 05:22
Ceph 12.2.0 实践osd 智能分组功能
以前我们需要对ssd和hdd进行分组的时候,需要大量的修改
crushmap
,然后绑定不同的存储池到不同的crush树上面,现在这个逻辑简化了很多。
weixin_34281537
·
2020-08-11 23:25
crushmap
磁盘智能分组
目录简介配置crushclass1.创建ssdclass2.创建基于ssd的classrule3.创建基于ssd_rule规则的存储池4.测试基于ssd的池简介ceph从L版本开始新增了个功能叫crushclass,又被称之为磁盘智能分组。因为这个功能就是根据磁盘类型自动进行属性关联,然后进行分类减少了很多的人为操作。在这个功能之前,如果我们需要对ssd和hdd进行分组的时候,需要大量的修改cru
weixin_33919941
·
2020-08-11 23:54
Ceph性能优化总结
硬件层面硬件规划SSD选择BIOS设置软件层面LinuxOSCephConfigurationsPGNumber调整
CRUSHMap
其他因素硬件优化1.硬件规划Processorceph-osd进程在运行过程中会消耗
Joncc
·
2020-07-14 01:00
ceph rack故障域调整
在开始操作之前介绍一种使用
crushmap
导出和导入的方法也可以进行调整,但是这个操作起来需要具备一定ceph基础知识。优点是操作简单,缺点是修改起来要求逻辑严谨、ceph基本功扎实。
Darren_Wen
·
2020-07-07 12:53
crushmap
故障域设置
ceph树状结构
ceph运维
第五篇: Ceph集群运维
常用操作本部分介绍了Ceph集群的常用操作,包括进程的起停、集群的监控、用户管理、MDS/MON/OSD的增加和删除、存储池(pool)的操作、修改集群的配置,以及
Crushmap
的管理、修改Monitor
cheneypku
·
2020-06-30 19:29
ceph
分布式对象存储框架:Ceph
ceph Luminous新功能之crush class
curshclass为新增的管理设备类的功能,可以将特定一组设备指定为类,创建rule的时候直接指定class即可,以前也可以实现该功能,只不过需要编辑
crushmap
,手动添加class。
Summer_ZJU
·
2020-06-30 01:46
【Distribute】
ceph配置解析
Ceph集群的节点有三种角色:Monitor,监控集群的健康状况,向客户端发送最新的
CRUSHmap
(含有当前网络的拓扑结构)OSD,维护节点上的对象,响应客户端
神奇的哈士奇
·
2020-06-29 10:24
ceph
ceph -
crushmap
扩容记录
前提参考ceph-扩容记录文档记录了如何进行ceph扩容的部署过程最后一步,需要对cephcrushmap进行重定义容量计算新加入3台存储节点,每个存储节点具有10个OSD节点,每个OSD对应4TB空间,即共增加3*10*4TB=120TB由于一直都有业务在ceph存储中使用,假如立即把所有新加入的ceph节点存储使用率设定为100%会导致ceph集群处于一个维护期中,CPU,网络带宽都会被需要进
weixin_34221073
·
2020-06-28 14:02
ceph存储扩容(新盘新建存储池)
1、换上新盘后先使用命令做raid2、ceph创建新存储池(注:需要在存储安装完成后操作)2.1修改/etc/ceph/ceph查看是否关闭自动生成
crushmap
若已经关闭,则无需其他操作;若没有关闭
weixin_34049032
·
2020-06-28 10:00
Ceph集群在系统扩容时触发rebalance的机制分析
当集群中有新的存储节点加入后,整个Ceph集群中的OSDs节点数目就会发生变化(即:OSDMap发生变化),
CRUSHMap
也会发生变化(比如:新加入一个机柜到Ceph集群)。
weixin_34007020
·
2020-06-28 09:21
ceph crush 改正默认写入全部硬盘
cephcrush改正默认写入全部硬盘高德置地--------王锦雄一、cephcrush策略配置1获取
crushmap
二进制文件cephosdgetcrushmap-oa.map2将二进制文件转成文本文件
云数据中心
·
2020-06-27 22:00
Ceph Monitor Paxos实现
Paxos负责Paxos算法的具体实现,PaxosService则是基于Paxos提供的服务,包括OSDMap、MonitorMap、PGMap、
CRUSHMap
。
帮我起个网名
·
2020-06-27 08:27
ceph
ceph更换磁盘不改变引起大量数据迁移
一、需求新更换后的磁盘,需满足如下要求(根本是为了保持pg分布情况不变,避免其他无关osd上的pg重新计算分布):保持ID不变系统
crushmap
不变二、所用工具ceph-diskceph三、配置方法3.1
手持钩笼引天下
·
2020-06-26 17:32
运维
CEPH 不同类型磁盘 加入不同pool
版本:(L版之前需要手动修改
CRUSHmap
)#ceph--versioncephversion12.2.5(cad919881333ac92274171586c827e01f554a70a)luminous
关外野妖
·
2020-06-26 13:13
ceph
openstack
Ceph Crush 算法源码分析
crushrule是可以自定义的选择过程,bucketalgorithm是从bucket选取item时使用的算法,该算法需要的主要参数有:placementseed(pgid)、
crushmap
、副本数等
李艳坤
·
2020-06-24 06:26
ceph
ceph分布式存储---集群osd节点下架操作
存储节点服务器下架操作1、操作系统版本信息系统:GNU/Linux7.2内核版本:3.18.16Ceph版本:ceph0.94.62、备份crush规则#cephosdgetcrushmap-o`date+%F`-
crushmap
3
Operation And
·
2020-06-22 04:22
ceph
Ceph学习笔记(3)- Monitor
前言:Ceph将clustermap与placementrule合并为一张表称为
crushmap
,作为集群表的一部分。由Monitor对集群表的副本进行维护和传播。
Hui_Tong
·
2020-04-14 11:00
在指定的osd上创建pool池
1.获取当前的
CRUSHmap
,并且反编译它:[root@ceph1~]#cephosdgetcrushmap-ocrushmap_compiled_filegotcrushmapfromosdmapepoch938
think_lonely
·
2020-04-08 16:08
ceph 运维操作-CRUSH MAP
CRUSH需要一张集群的Map,且使用
CRUSHMap
把数据伪随机地、尽量平均地分布到整个集群的OSD里。
CRUSHMap
包含OSD列表、把设备汇聚为物理位置的“桶”列表、和指示CR
Lucien_168
·
2020-03-20 16:32
管理
Crushmap
CRUSH需要一张集群的Map,且使用
CRUSHMap
把数据伪随机地、尽量平均地分布到整个集群的OSD里。
CRUSHMap
包含OSD列表、把设备汇聚为物理位置的“桶”列表、和指示CRUSH如
Joncc
·
2020-03-06 09:22
ceph分布式存储-管理
crushmap
CRUSH需要一张集群的Map,且使用
CRUSHMap
把数据伪随机地、尽量平均地分布到整个集群的OSD里。
CRUSHMap
包含OSD列表、把设备汇聚为物理位置的“桶”列表、和指示CR
Lucien_168
·
2020-02-17 04:46
ceph crush map自定义
1.从任意一个monitor节点提取
crushmap
并反编译它#cephosdgetcrushmap-ocrushmap-extract#crushtool-dcrushmap-extract-ocrushmap-decompiled2
think_lonely
·
2020-02-05 13:28
修改
crushmap
实验
https://www.cnblogs.com/sisimi/p/7799980.htmlCRUSH的全称是ControlledReplicationUnderScalableHashing,是ceph数据存储的分布式选择算法,也是ceph存储引擎的核心。ceph的客户端在往集群里读写数据时,动态计算数据的存储位置。这样ceph就无需维护一个叫metadata的东西,从而提高性能。ceph分布式存
wangmo
·
2019-08-29 17:00
Ceph 进阶系列(一):crush map文件里有些什么?
一、前言
crushmap
是什么?
亚历山大的陀螺
·
2019-08-28 11:54
存储
Ceph
上一页
1
2
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他