ceph块存储介入openstack cinder

ceph块存储介入openstack cinder

标签（空格分隔）： openstack

在ceph节点配置

• 创建pool

• ceph osd pool create volumes 128
• ceph osd pool create images 128
• ceph osd pool create vms 128

查看上面命令创建的pool
* ceph df

• 在ceph节点上创建用户client.cinder， 允许该用户访问volumes pool

ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes '

• cinder配置

• 拷贝ceph节点下 /etc/ceph/ceph.conf 到cinder节点
• 把client.cinder.keyring拷贝到cinder节点
  ceph auth get-or-create client.cinder | ssh {your-volume-server} sudo tee /etc/ceph/ceph.client.cinder.keyring;
• 更改ceph keyring 文件的组和用户
  ssh {your-cinder-volume-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring;

注：cinder:cinder是openstack环境中的cinder 用户，按实际环境配置即可

• 给nova节点也添加下keyring
  ceph auth get-or-create client.cinder | ssh {your-nova-compute-server} sudo tee /etc/ceph/ceph.client.cinder.keyring

• 给计算节点创建一个临时密钥备用
  ceph auth get-key client.cinder | ssh {your-compute-node} tee client.cinder.key

• 在计算节点配置

1.使用uuidgen生成一个UUID

uuidgen
2a8fb24a-3a4b-4fd7-bcd5-4650a406cdc5

注：以下操作均在root用户根目录，不要切换到其他目录操作，因为之前拷贝的临时密钥就在这里

2.生成一个secret.xml文件备用

cat > secret.xml <
    2a8fb24a-3a4b-4fd7-bcd5-4650a406cdc5
    
   client.cinder secret      // client.cinder_42 secret
   
   
EOF 

3. 从之前的xml文件定义一个secret

virsh secret-define --file secret.xml

4.给secret设值，UUID前后一定要一致

virsh secret-set-value --secret 2a8fb24a-3a4b-4fd7-bcd5-4650a406cdc5
--base64 $(cat client.cinder.key)

• 配置需要接入Ceph的cinder节点

编辑/etc/cinder/cinder.conf文件，修改或加入如下内容：
[DEFAULT]
...
如果想用多种cinder的后端，就都加上，以半角符号逗号隔开；
enabled_backends = ceph,lvm
[ceph]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1
glance_api_version = 2
rbd_user = cinder
# UUID和之前的保持一致
rbd_secret_uuid = 2a8fb24a-3a4b-4fd7-bcd5-4650a406cdc5

• 重启服务，万事大吉

在所有改了配置文件的cinder节点重启下cinder-volume服务：
systemctl restart openstack-cinder-volume