Ceph Luminous librbd & librados 解析 -- 代码概述

1. librbd  &  librados介绍

Librbd模块实现了RBD接口，其基于Librados实现了对RBD的基本操作。

1.1 架构概述

    上层应用访问RBD块设备有两种途径：librbd和krbd。其中librbd是一个基于librados的用户态接口库，而krbd是继承在GNU/Linux内核中的一个内核模块，通过用户态的rbd命令行工具，可以将RBD块设备映射为本地的一个块设备文件。

    从RBD的架构图中可以看到，RBD块设备由于元数据信息少且访问不频繁，故RBD在Ceph集群中不需要daemon守护进程将元数据加载到内存进行元数据访问加速，所有的元数据和数据操作直接与集群中的MON服务和OSD服务交互。其架构图如下：

    最上层是librbd层，模块cls_rbd是一个Cls扩展模块，实现了RBD的元数据相关的操作。RBD的数访问直接通过Librados来访问。在最底层是OSDC层完成数据的发送。

1.2 源码结构

1.2.1 librbd

    在src/librbd和路径下为librbd的源码，其中分为.cc文件.h文件和子目录，文件的大致内容为：

    1..cc & .h 文件：对应组件的源代码，其中.h为头文件，具体的实现在.cc中；

    2.子目录：子目录中文件为针对每个模块的请求，如针对librbd/operation.cc组件，存在路径operation，路径中文件为

        可见相应目录中为对应组件的请求的实现，这些请求发送到rados，进而实现对osd的操作。

1.2.2 librados

    src/librados中为librados的源码，内容如下

    与librbd目录下源码相比，librados中的源码内容相对较少，librados.cc中负责接口的封装，具体的实现细节在IoCtxImpl.cc中。

2  librados & librbd API介绍

2.1 源码概览

    ceph封装的接口源码位于src/pybind/路径下，其中子目录下的.pyx文件为api接口源码，文件结构如图

2.2 主要操作介绍

对于librbd和librados提供的python api接口，本文重点关注以下操作：

1.  pool的创建和删除；

2.  image的创建和删除；

3.  snapshot的创建、利用snapshot进行clone操作、snapshot的删除；

4.  image flatten操作。

    下文将按照{create pool} -> {create image} -> {create snapshot} -> {image clone} -> {image flatten} -> {delete snapshot} -> {delete image} -> {delete pool}的顺序来依次介绍上述操作的api接口调用。

2.2.1 准备工作：创建链接

    在所有的操作之前，首先需要创建对集群的连接，才能进行进一步的操作：

import rados

import rbd

# connect to cluster

cluster = rados.Rados(conffile='/etc/ceph/ceph.conf')

cluster.connect()

 2.2.2 创建存储池，并获取ioctx

    创建了对集群的connection之后，就可以创建存储池，并获取ioctx：

# list pool

before_create = cluster.list_pools()

print("before create pools: {0}".format(before_create))

# create pool

cluster.create_pool(POOL)

# list pool

after_create = cluster.list_pools()

print("after create pools: {0}".format(after_create))

# get ioctx

ioctx = cluster.open_ioctx(POOL)

注意：

1. 这里create_pool()接口的输入不包括pg和pgp，因为pgp和pg的数量在api中是根据ceph.conf中参数设置

# /etc/ceph/ceph.conf

osd_pool_default_pg_num = {int}

osd_pool_default_pgp_num = {int}

2.2.3 创建image

    创建存储池并获取ioctx，就可以开始创建rbd image了

rbd_inst = rbd.RBD()

size = 4 * 1024**3

rbd_inst.create(ioctx, “myimage”, size)

img_list = rbd_inst.list(ioctx)

print("after create images {0}".format(img_list))

注意：

1. 在哪个pool中创建image，ioctx就从哪个pool中获取；

2. image创建必须显式指定大小，size计算值为bytes。

2.2.4 创建snapshot

    rbd image创建之后，就可以根据image创建snapshot了。

# create snapshot

print("start to create snapshot")

rbd_img = rbd.Image(ioctx, name=IMG)

rbd_img.create_snap(SNP)

# list snapshot

print("list snapshot")

snap_list = rbd_img.list_snaps()

for item in snap_list:

    print(item['name'])

注意：

1. 使用的是img.Image()类，与2.2.2区分；

2. snap_list的类型为rbd.SnapIterator(Image image)，使用for循环迭代的元素为dict，其中有三个key：id(int: numeric identifier of the snapshot), size(int: size of theimage at the time of snapshot (in bytes)), name(str: name of the snapshot).

2.2.5 使用snapshot clone rbd image

    如果需要使用snapshot克隆image，需要首先对snapshot进行保护，之后才能进行clone操作。

# protect snapshot

rbd_img.protect_snap(SNP)

is_protect = rbd_img.is_protected_snap(SNP)

print("{0} protected status:{1}".format(SNP, is_protect))

# image clone

print("clone image")

# parent_ioctx, parent_image_name,parent_snap_name, child_ioctx, child_image_name

rbd_inst.clone(ioctx, “myimage”,“mysnapshot”, ioctx, “clnimg”)

img_list = rbd_inst.list(ioctx)

print("after clone image: {0}".format(img_list))

注意：

    1. rbd.Image()需要与保护的snpashot一致(即在初始化时需要提供该snapshot隶属的pool的ioctx和image的name)；

    2. clone()函数必须传入的五个变量:

(1) parent_ioctx: snapshot父类的ioctx;

(2) parent_image_name: 父image的名称;

(3) parent_snap_name: 父snapshot的名称；

(4) child_ioctx: 子image的ioctx；

(5) child_image_name: 子image名称；

    如果clone之后的image和原来的image位于同一个pool，则两者的ioctx相同，反之需要从子image所属的pool获取子ioctx。

2.2.6 image flatten

    image flatten操作使clone生成的rbd image摆脱对snapshot的依赖。

# image flatten

print("flatten image")

clone_img = rbd.Image(ioctx, name=”clnimg”)

clone_img.flatten()

注意：

1. 因为需要访问的是clone生成的新image，故需要新初始化一个rbd.Image()访问。

2.2.7 删除 snapshot / image / pool

# unprotect image

print("unprotect snapshot")

rbd_img.unprotect_snap(SNP)

is_protect = rbd_img.is_protected_snap(SNP)

print("{0} protected status:{1}".format(SNP, is_protect))

# purge snapshot

print("remove snapshot")

rbd_img.remove_snap(SNP)

# close image connection

rbd_img.clone()

clone_img.close()

# remove rbd image

print("remove rbd image")

rbd_inst.remove(ioctx, IMG)

rbd_inst.remove(ioctx, CLN)

注意：

1. 只有在snapshot下的所有image都进行flatten操作之后，才能够unprotect该snapshot；

2. 需要先关闭rbd.Image()对image的访问之后，才能移除rbd image。

2.2.7 关闭链接，终止对集群的访问

# close ioctx

print("close ioctx")

ioctx.close()

# delete pool

print("delete pool")

cluster.delete_pool(POOL)

after_delete = cluster.list_pools()

print("after delete pools:  {0}".format(after_delete))

# close connection

print("close connection")

cluster.shutdown()

注意：

1. 顺序：{关闭ioctx} -> {删除pool} -> {关闭cluster链接}.

2.4 参考资料

1. librbd(python)

http://docs.ceph.com/docs/master/rbd/api/librbdpy/

2. librados(python)

http://docs.ceph.com/docs/master/rados/api/python/