ceph块存储应用案例

块存储应用案例

演示块存储在KVM虚拟化中的应用案例，实现：
Ceph创建块存储镜像
客户端安装部署ceph软件
客户端部署虚拟机
客户端创建secret
设置虚拟机配置文件，调用ceph存储

方案
使用Ceph存储创建镜像。
KVM虚拟机调用Ceph镜像作为虚拟机的磁盘。

步骤
1）创建磁盘镜像。
[root@node1 ~]# rbd create vm1-image --image-feature layering --size 10G
[root@node1 ~]# rbd create vm2-image --image-feature layering --size 10G
[root@node1 ~]# rbd list
[root@node1 ~]# rbd info vm1-image
[root@node1 ~]# qemu-img info rbd:rbd/vm1-image
image: rbd:rbd/vm1-image
file format: raw
virtual size: 10G (10737418240 bytes)
disk size: unavailable
-----------------------------------------------------------------------
2）Ceph认证账户。
Ceph默认开启用户认证，客户端需要账户才可以访问，
默认账户名称为client.admin，key是账户的密钥，
可以使用ceph auth添加新账户（案例我们使用默认账户）。

[root@node1 ~]# cat /etc/ceph/ceph.conf //配置文件
[global]
mon_initial_members = node1, node2, node3
mon_host = 192.168.2.10,192.168.2.20,192.168.2.30
auth_cluster_required = cephx //开启认证
auth_service_required = cephx //开启认证
auth_client_required = cephx //开启认证
[root@node1 ~]# cat /etc/ceph/ceph.client.admin.keyring //账户文件
[client.admin]
key = AQBTsdRapUxBKRAANXtteNUyoEmQHveb75bISg==

3）部署客户端环境。
注意：这里使用真实机当客户端！！！
客户端需要安装ceph-common软件包，拷贝配置文件（否则不知道集群在哪），
拷贝连接密钥（否则无连接权限）。
[root@room9pc01 ~]# yum -y install ceph-common
[root@room9pc01 ~]# scp 192.168.4.11:/etc/ceph/ceph.conf /etc/ceph/
[root@room9pc01 ~]# scp 192.168.4.11:/etc/ceph/ceph.client.admin.keyring \
/etc/ceph/

4）创建KVM虚拟机。
使用virt-manager创建2台普通的KVM虚拟机。

5）配置libvirt secret。
编写账户信息文件（真实机操作）
[root@room9pc01 ~]# vim secret.xml //新建临时文件，内容如下


client.admin secret


#使用XML配置文件创建secret
[root@room9pc01 ~]# virsh secret-define --file secret.xml
733f0fd1-e3d6-4c25-a69f-6681fc19802b
//随机的UUID，这个UUID对应的有账户信息

编写账户信息文件（真实机操作）
[root@room9pc01 ~]# ceph auth get-key client.admin
//获取client.admin的key，或者直接查看密钥文件
[root@room9pc01 ~]# cat /etc/ceph/ceph.client.admin.keyring
设置secret，添加账户的密钥
[root@room9pc01] virsh secret-set-value \
--secret 733f0fd1-e3d6-4c25-a69f-6681fc19802b \
--base64 AQBTsdRapUxBKRAANXtteNUyoEmQHveb75bISg
//这里secret后面是之前创建的secret的UUID
//base64后面是client.admin账户的密码
//现在secret中既有账户信息又有密钥信息

6）虚拟机的XML配置文件。
每个虚拟机都会有一个XML配置文件，包括：
虚拟机的名称、内存、CPU、磁盘、网卡等信息
[root@room9pc01 ~]# vim /etc/libvirt/qemu/vm1.xml
//修改前内容如下

----------------------------------------------------------------------
virsh list查看
virsh destroy启动
virsh --help | grep sec
virsh secret-list
qcow文件不能vim，只能ls或者ll
--------------------------------------------------------------------------
不推荐直接使用vim修改配置文件，推荐使用virsh edit修改配置文件，效果如下：要熟悉一下这个文件，不用背，记不住的。
[root@room9pc01] virsh edit vm1 //vm1为虚拟机名称
#network

#手动加3句话
#在虚拟机里叫什么名字

#####################################################################################3
ceph 块存储
1linux直接使用
kvm虚拟机使用，每个虚拟机都有自己的xml文件

磁盘【块设备】----分区---格式化
fat文件系统，ntfs文件系统
ext4文件系统，xfs文件系统

inode：保存有文件名，描述信息，房间号
block，分成很多个小格子

如果生产环境误删除了，要马上关机，先不要操作。我们所看到的删除，只是在inode里，它把对应的编号给设置为delete标签了。这个收费软件可以还原finaldte。

metedata元数据

-----------------------------------
新建一台虚拟机192.168.4.14

node1操作：

vim /etc/hosts
192.168.4.14 node4 #所有其他机子也追加这一行

ssh-copy-id 192.168.4.14
或者ssh-copy-id node4

for i in 10 11 12 13 14
>do
> scp /etc/hosts 192.168.4.$i:/etc/hosts
>done

时间同步
scp /etc/chrony.conf node4:/etc/
scp /etc/yum.repos.d/{rhel7.repo,ceph.repo} node4:/etc/yum.repos.d/
------------------------------
node4:

systemctl restart chronyd
yum repolist
-----------------------------
ceph 文件系统
mon监控
osd存储
mds(metedata) inode
-------------------------------------
登陆node4，安装ceph-mds软件包
[root@node4 ~]# yum -y install ceph-mds #装好包后，在/etc/ceph有一个rbdmap
-----------------------------------
登陆node1部署节点操作
[root@node1 ~]# cd /root/ceph-cluster
//该目录，是最早部署ceph集群时，创建的目录

[root@node1 ceph-cluster]# ceph-deploy mds create node4
//给nod4拷贝配置文件，启动mds服务
-------------------------------
node4:

# systemctl status ceph
# systemctl status [email protected]
# ls /etc/ceph
------------------------------------
node1:

ceph-deploy admin node4

 

转载于:https://www.cnblogs.com/summer2/p/10788059.html