Openstack 之 ceph存储池分级_第1张图片 Openstack 之 ceph存储池分级_第2张图片

 上面左边是我的个人微信,如需进一步沟通,请加微信。  右边是我的公众号“Openstack私有云”,如有兴趣,请关注。


    上篇《Openstack 之使用外部ceph存储》中提到,为了达到不同的pool可以使用不同类型的硬盘组成的存储池,对于只是需要解决存储分级的小规模集群场景来说,先使用kolla进行统一部署ceph,在部署完成之后,然后通过手动调整ceph crush存储规则,新建rule,将相应的osd划入对应的rule,最后将相应的pool调整到相应的rule。这里我们就这个想法进行实际验证。

    

Openstack集群环境:

系统centos7.3

Openstack版本 Ocata 4.0.2.1 ,使用kolla部署

Openstack集群服务器分配如下:

节点 服务 IP
control01 control+compute+network 192.168.1.130
control02 control+compute+network 192.168.1.131
control03 control+compute+network 192.168.1.132

已经成功部署了3个节点的控制+存储+计算+网络的融合节点,ceph的osd初始分布如下:

ceph> osd tree

ID WEIGHT  TYPE NAME              UP/DOWN REWEIGHT PRIMARY-AFFINITY 

                                  

-1 9.00000 root default                                             

-2 3.00000     host 192.168.1.132                                   

 0 1.00000         osd.0               up  1.00000          1.00000 

 3 1.00000         osd.3               up  1.00000          1.00000 

 6 1.00000         osd.6               up  1.00000          1.00000 

-3 3.00000     host 192.168.1.130                                   

 1 1.00000         osd.1               up  1.00000          1.00000 

 5 1.00000         osd.5               up  1.00000          1.00000 

 7 1.00000         osd.7               up  1.00000          1.00000 

-4 3.00000     host 192.168.1.131                                   

 2 1.00000         osd.2               up  1.00000          1.00000 

 4 1.00000         osd.4               up  1.00000          1.00000 

 8 1.00000         osd.8               up  1.00000          1.00000 


    我们的目标是,将ssd硬盘 osd.0/osd.1/osd.2 等3个ssd类型硬盘osd划入一个新的root根ssd,新的host组ssd-hosts ,新的host,将这3个osd分别移入新的host中,同时新建一个rule规则ssd-rule ,使这个根ssd的所有设备使用这个ssd-rule规则。最后,将openstack存放虚拟机的pool池vms设置使用这个ssd-rule规则,这样,就达到了虚拟机池vms使用ssd硬盘池的目的。同样的道理,对于glance和cinder-backup可以使用慢速硬盘SATA盘组成的慢速存储池,也可以用同样的方法进行调整。


操作记录:

创建ssd root

docker exec -it ceph_mon ceph osd crush add-bucket ssd root

//创建一个新的桶叫ssd ,级别是root最高级

创建chassis

docker exec -it ceph_mon ceph osd crush add-bucket ssd-hosts chassis

//创建一个新的桶叫ssd-hosts ,级别是机框

docker exec -it ceph_mon ceph osd crush move ssd-hosts root=ssd

//将ssd-hosts归入ssd

创建host

docker exec -it ceph_mon ceph osd crush add-bucket ssd-132 host

docker exec -it ceph_mon ceph osd crush add-bucket ssd-130 host

docker exec -it ceph_mon ceph osd crush add-bucket ssd-131 host

//创建3个新的桶叫ssd-132/ssd-130/ssd-131 ,级别是host

docker exec -it ceph_mon ceph osd crush move ssd-132  chassis=ssd-hosts

docker exec -it ceph_mon ceph osd crush move ssd-130  chassis=ssd-hosts

docker exec -it ceph_mon ceph osd crush move ssd-131  chassis=ssd-hosts

//将ssd-132/ssd-130/ssd-131归入ssd-hosts

移动osd

docker exec -it ceph_mon ceph osd crush set osd.0 1.0 host=ssd-132

docker exec -it ceph_mon ceph osd crush set osd.1 1.0 host=ssd-130

docker exec -it ceph_mon ceph osd crush set osd.2 1.0 host=ssd-131

//将osd.0/osd.1 /osd.2移动到对应的host 中


创建crush rule

docker exec -it ceph_mon ceph osd crush rule create-simple ssd-rule ssd host firstn

//创建crush rule,rule名称是ssd-rule,root=ssd,tpye=host,mode=firstn 


经过调整之后osd的分布如下:

ceph> osd tree     

ID WEIGHT  TYPE NAME              UP/DOWN REWEIGHT PRIMARY-AFFINITY 

-5 3.00000 root ssd                                                 

-6 3.00000     chassis ssd-hosts                                    

-7 1.00000         host ssd-132                                     

 0 1.00000             osd.0           up  1.00000          1.00000 

-8 1.00000         host ssd-130                                     

 1 1.00000             osd.1           up  1.00000          1.00000 

-9 1.00000         host ssd-131                                     

 2 1.00000             osd.2           up  1.00000          1.00000 

-1 6.00000 root default                                             

-2 2.00000     host 192.168.1.132                                   

 3 1.00000         osd.3               up  1.00000          1.00000 

 6 1.00000         osd.6               up  1.00000          1.00000 

-3 2.00000     host 192.168.1.130                                   

 5 1.00000         osd.5               up  1.00000          1.00000 

 7 1.00000         osd.7               up  1.00000          1.00000 

-4 2.00000     host 192.168.1.131                                   

 4 1.00000         osd.4               up  1.00000          1.00000 

 8 1.00000         osd.8               up  1.00000          1.00000 


crush rule规则如下:

# docker exec -it ceph_mon ceph osd crush rule dump

[

    {

        "rule_id": 0,

        "rule_name": "replicated_ruleset",

        "ruleset": 0,

        "type": 1,

        "min_size": 1,

        "max_size": 10,

        "steps": [

            {

                "op": "take",

                "item": -1,

                "item_name": "default"

            },

            {

                "op": "chooseleaf_firstn",

                "num": 0,

                "type": "host"

            },

            {

                "op": "emit"

            }

        ]

    },

    {

        "rule_id": 1,

        "rule_name": "disks",

        "ruleset": 1,

        "type": 1,

        "min_size": 1,

        "max_size": 10,

        "steps": [

            {

                "op": "take",

                "item": -1,

                "item_name": "default"

            },

            {

                "op": "chooseleaf_firstn",

                "num": 0,

                "type": "host"

            },

            {

                "op": "emit"

            }

        ]

    },

    {

        "rule_id": 2,

        "rule_name": "ssd-rule",

        "ruleset": 2,

        "type": 1,

        "min_size": 1,

        "max_size": 10,

        "steps": [

            {

                "op": "take",

                "item": -5,

                "item_name": "ssd"

            },

            {

                "op": "chooseleaf_firstn",

                "num": 0,

                "type": "host"

            },

            {

                "op": "emit"

            }

        ]

    }

]

可以看到新增的ssd-rule的ruleid是2。


更改vms pool的rule:

    设置openstack的虚拟机存储池vms使用的rule为ssd-rule:

docker exec -it ceph_mon ceph ceph osd pool set vms crush_ruleset 2


验证:

1. 列出vms中的images:

[root@control01 neutron]# docker exec -it ceph_mon rbd -p vms ls

4ba3e273-b729-4a24-8040-629b9b58fe43_disk


2. 查看images是不是分布在osd.0/osd.1/osd.2这3块ssd盘中:


[root@control01 ceph-mon]# docker exec -it ceph_mon bash

(ceph-mon)[root@control01 ceph]# vi rbd_loc.sh

#!/bin/bash

# USAGE:./rbd-loc

if [ -z ${1} ] || [ -z ${2} ];

then

echo "USAGE: ./rbd-loc "

exit 1

fi

rbd_prefix=$(rbd -p ${1} info ${2} | grep block_name_prefix | awk '{print $2}')

for i in $(rados -p ${1} ls | grep ${rbd_prefix})

do

ceph osd map ${1} ${i}

done


(ceph-mon)[root@control01 ceph]# chmod +x rbd_loc.sh

(ceph-mon)[root@control01 ceph]# ./rbd_loc.sh vms 4ba3e273-b729-4a24-8040-629b9b58fe43_disk

osdmap e685 pool 'vms' (9) object 'rbd_data.2744fe204970c8.0000000000000004' -> pg 9.eec101a0 (9.20) -> up ([2,1], p2) acting ([2,1], p2)

osdmap e685 pool 'vms' (9) object 'rbd_data.2744fe204970c8.0000000000000006' -> pg 9.9f03d335 (9.35) -> up ([1,2], p1) acting ([1,2], p1)

osdmap e685 pool 'vms' (9) object 'rbd_data.2744fe204970c8.0000000000000001' -> pg 9.67b18ab5 (9.35) -> up ([1,2], p1) acting ([1,2], p1)

osdmap e685 pool 'vms' (9) object 'rbd_data.2744fe204970c8.0000000000000003' -> pg 9.5897ddc8 (9.48) -> up ([0,2], p0) acting ([0,2], p0)

osdmap e685 pool 'vms' (9) object 'rbd_data.2744fe204970c8.0000000000000007' -> pg 9.dbace74b (9.4b) -> up ([2,0], p2) acting ([2,0], p2)

osdmap e685 pool 'vms' (9) object 'rbd_data.2744fe204970c8.0000000000000000' -> pg 9.f1ab8f4d (9.4d) -> up ([0,2], p0) acting ([0,2], p0)

osdmap e685 pool 'vms' (9) object 'rbd_data.2744fe204970c8.0000000000000005' -> pg 9.20dc9e6c (9.6c) -> up ([1,2], p1) acting ([1,2], p1)

osdmap e685 pool 'vms' (9) object 'rbd_data.2744fe204970c8.0000000000000002' -> pg 9.7f6d55f7 (9.77) -> up ([2,0], p2) acting ([2,0], p2)


从上面的结果可以看到,所有的数据副本object所在的pg,都放在0,1,2上 。

验证成功!


总结:

    可以看到,通过这种先使用自动化容器部署方式kolla进行自动化部署,然后再对存储池进行调整的方式是可行的。

    存储分级无论对于openstack大集群还是小集群的应用场景都是很有用的,我们个人使用的笔记本系统盘都开始使用ssd固态硬盘了,作为云平台更加有这个需求,分配的虚拟机,系统盘使用ssd固态硬盘池子,数据盘可以使用普通硬盘,卷备份和glance镜像就可以使用慢速盘。这种存储分级是非常有实用价值的。

    这里只是列举了ssd存储池的实现,同样的,SAS盘存储池、SATA盘存储池的实现都是一样的方法。

    存储池的实现在ceph luminous版本中的实现方式更加简便,可以直接通过crush class的方式完成,相应的osd纳入不同的class,实现原理应该还是一样的,就是通过新建rule来实现osd的归类。


2018年7月13日注:

    ceph的crush规则经过调整后,经过测试,如果后面重新通过kolla部署,ceph所做的相关调整不会因为重新通过kolla部署变化。这里就提供了一个比较舒服的灵活调整空间,ceph的osd tree分布以及crush存储规则,都可以通过kolla部署后根据实际应用场景进行调整。

    另外,文章中osd tree 调整的时候多加了一层chassis ,这一层级可以省掉。甚至,如果为了简便,可以只新建一个ssd-host ,把所有的ssd osd都划入这一个host。