一、rbd到OSD映射关系

客户端使用RBD设备，使用librbd、librados库进行访问管理块设备。

1、创建一个pool，为这个pool指定pg的数量，同时在这个pool中指明保存数据的副本数（通常为3个副本）。

2、在这个pool中创建一个rbd设备rbd0，那么这个rbd0都会保存三份，在创建rbd0时必须指定rbd的size，对于这个rbd0的任何操作不能超过这个size。

3、将这个块设备进行切块，每个块的大小默认为4M，并且每个块都有一个名字，名字就是object+序号。

4、将每个object通过pg进行副本位置的分配，pg会寻找3个osd，把这个object分别保存在这三个osd上。最后对于object的存储就变成了存储一个文件rbd0.object1.file。数据层次映射图如下：

数据层次映射图

经过pool，rbd，object、pg的层层映射关系，在PG这一层中，已经知道存储数据的3个OSD所在位置及主从关系。

客户端与primay OSD建立SOCKET通信，将要写入的数据传给primary OSD，由primary OSD再将数据发送给其他replica OSD数据节点。

读写框架图：

读写框架图

二、写请求流程

1、rbd上的处理

在rbd中一个操作对象为一个image，这个请求经过处理拆分成object对象的请求，拆分后交给Objector进行处理，找到目标osd的集合及主osd。

将请求封装成MOSDOp消息，交由SimpleMessenger处理，SimpleMessager会尝试查找/创建一个OSDSession，并且为这个OSDSession创建一个数据通道pipe。消息从SimpleMessager收到后会保存到pipe的outq队列中。

pipe与目标osd建立Socket通信通道，并有专门的写线程writer来负责socket通信。writer线程同时监视这个outq队列，当队列中存在消息等待发送时，会就将消息写入socket，发送给目标OSD。

OSD将数据消息处理完成之后，进行回调，反馈执行结果。

关键代码序列图如下：

Ceph Write时序图

2、osd上的处理

OSD接收到message信息以后，解析并将消息转换成OpRequest，加入dispatch队列。同时从message中得到pool及PG的信息，将message交由PG进行相关处理。此时从OSD处理的message转化为了PG处理的op，添加到osd->op_wq队列中。PG中创建一个OpContext结构，接管message中的所有ops的操作。

解析出OpRequest中的所有op与data，用Transaction结构进行管理，即将ops与Transaction绑定，将操作和数据打包成事务，并发送给其他副本，同时管理自己和其他副本的数据处理统计，创建repop所有的applied与commit的管理。

提交事务后，交由filestore进行处理。

如果数据处理完成了，使用eval_repop()进行收尾的工作，将结果回调给客户端。

关键代码序列图如下：

OSD时序图

3、filestore上的处理

当数据进行写入的时候需要写到journal中一份，当data数据失败的时候可以从journal中进行恢复。从_op_journal_transactions()开始激发写入日志的操作，回调函数C_JournaledAhead的会在日志完成之后进行回调处理，将data写入磁盘。

将日志保存完成的回调ondisk交给ondisk_finisher，ondisk注册回调为C_OSD_OnOpApplied，在后续finisher线程中处理。在该函数中，循环处理需要回调的请求，回复刚开始接收到请求的MOSDOp的操作，将请求发还给客户端。

写完data的回调函数注册的为C_OSD_OnOpCommit，该函数处理并回复OSD一些状态的逻辑。

关键代码序列图如下：

File Wtite时序图

Ceph写流程分析

一、rbd到OSD映射关系

二、写请求流程

1、rbd上的处理

2、osd上的处理

3、filestore上的处理

你可能感兴趣的:(Ceph写流程分析)