rbd-mirror动手实践

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

rbd-mirror是jewel版本新加入的一个特性,目的是在不同的ceph集群中同步rbd设备上的数据。

rbd-mirror的内部实现如下图所示:

rbd-mirror动手实践_第1张图片

在两个相互独立的ceph集群中分别多了一个守护进程rbd-mirror,该守护进程负责同步rbd设备上的数据。rbd-mirror的主要处理流程如下图所示:

rbd-mirror动手实践_第2张图片

用户操作块设备向块设备中写入数据时,librbd首先将写操作写入日志,当日志写入完毕后应答用户写操作完毕。之后日志向本地块设备写入数据,于此同时日志通过rbd-mirror守护进程将日志发送到对端ceph集群。对端ceph集群将日志内容写入到块设备中,由此完成块设备的同步功能。由此看到rbd-mirror的核心在于rbd-mirror守护进程和块设备写入的日志。

rbd-mirror动手实践部分如下:

1、集群环境。

    rbd-mirror的测试环境采用手动编译ceph源代码的方式安装并配置ceph集群,具体操作过程请参考http://my.oschina.net/linuxhunter/blog/682013。集群名称分别是ceph和ceph2。测试rbd-mirror使用的用户是各自集群中的admin用户(当然可以自行创建一个专门为rbd-mirror的特定用户)。

2、rbd-mirror设置。

    1)复制ceph配置文件和admin用户的keyring到对端ceph集群。

        将ceph集群中的ceph.conf和ceph.client.admin.keyring复制到ceph2集群中的/etc/ceph目录下,于此同时将ceph2集群中的ceph2.conf和ceph2.client.admin.keyring复制到ceph集群中。这样ceph集群可以查看ceph2集群的状态,ceph2集群也可以查看ceph集群的状态。

    2)在两个ceph集群中创建相同名称的pool。

        #rbd --cluster ceph osd pool create image-pool 64 64

        #rbd --cluster ceph2 osd pool create image-pool 64 64

    3)使能mirror功能。

        #rbd --cluster ceph mirror pool enable image-pool pool

        #rbd --cluster ceph2 mirror pool enable image-pool pool

    4)添加cluster peer。

        #rbd --cluster ceph mirror pool peer add image-pool client.admin@ceph2

        #rbd --cluster ceph2 mirror pool peer add image-pool client.admin@ceph

    5)启动rbd-mirror守护进程。

        #rbd-mirror -f --cluster ceph --setuser ceph --setgroup ceph

        #rbd-mirror -f --cluster ceph2 --setuser ceph --setgroup ceph

    6)查看rbd-mirror状态。

        #rbd --cluster ceph mirror pool info

Mode: image

Peers: 

  UUID                                 NAME  CLIENT       

  30018a0a-52b6-499e-b8f2-174d61eeeafe ceph2 client.admin 

        #rbd --cluster ceph mirror pool status 

health: OK

images: 0 total

        到此rbd-mirror环境已经成功搭建完毕。

3、rbd-mirror测试。

    1)在ceph集群中image-pool中创建一个块设备。

        #rbd --cluster ceph create image-pool/test1 --size 10240 --image-feature exclusive-lock, journaling

    2)向ceph集群中image-pool中的块设备写入数据。

        #mkdir -p /tmp/rbd

        #rbd-fuse -p image-pool /tmp/rbd

        #mkfs.ext4 /tmp/rbd/test1

        #mount -o loop /tmp/rbd/test1 /mnt/

        #echo "hello, world" > /mnt/test.txt

        #umount /mnt

        #fusermount -u /tmp/rbd

    3)在ceph2集群中查看image-pool中的块设备信息。

        #rbd --cluster ceph2 -p image-pool ls

test1

        此时在ceph2集群中就可以看到刚刚在ceph集群中创建出来的test1块设备;

    4)在ceph2集群中挂载块设备且查看块设备中的内容。

        #mkdir -p /tmp/rbd

        #rbd-fuse -p image-pool /tmp/rbd

        #mount -o loop /tmp/rbd/test1 /mnt

        #ls /mnt/

test1.txt

        #cat /mnt/test1.txt

hello,world

        #umount /mnt

        #fusermount -u /tmp/rbd

4、补充说明。

    1)当前版本的rbd-mirror功能只支持集群之间一对一的mirror,并不支持一对多的mirror;

    2)做rbd-mirror的两个集群的pool名称必须一致;

    

转载于:https://my.oschina.net/linuxhunter/blog/684750

你可能感兴趣的:(python)