kjh2007abc

ceph集群快照、clone相关命令整理v1

简介：快照

快照是一个镜像在某一个特定时间点的只读拷贝。其中Ceph块设备的高级功能是能够创建快照保留镜像的历史状态。Ceph支持快照分层，允许快速克隆镜像。 Ceph还支持使用RDB和如KVM，libvirt等创建快照。当做快照时需要停止I/O。如果镜像包含文件系统，文件系统必须在做快照前保持一致性。

本文档主要从以下几个方面进行测试：

1：快照、创建、查询、删除、清理；

2：快照clone、增量快照、保护快照；

3：image导入、导出；

4：利用ceph存储快照功能，做数据备份、数据恢复；

5：image 空间resize（xfs、ext4文件系统）；

6：pool快照创建、pool copy、pool快照查看、删除；

文档内容初步整理，后续将不断完善，内容有误的地方欢迎留言指正，我会及时更新修正。

##############测试目的#############

1：image快照如何创建、删除、查询；

2：快照回滚、数据恢复；

#############步骤1~15##############

1：创建一个pool

[root@node241 ~]# ceph osd pool create mypool 24

pool 'mypool' created

2：要创建一个新的RBD镜像为10GB

rbd -p mypool create myimage --size 10240

或者：

rbd create mypool/myimage --size 10240

3：再新建一个镜像、做快照导入测试使用

rbd create mypool/myimage1 --size 10240

4：查看镜像

[root@node242 ~]# rbd --pool mypool ls

myimage

myimage1

5：映射镜像 myimage

[root@node242 ~]# rbd map mypool/myimage

/dev/rbd0

6：格式化

mkfs.xfs /dev/rbd0

7：建立挂载点、挂载磁盘

mkdir /myimage

mount /dev/rbd0 /myimage/

8：映射镜像 myimage1

[root@node242 ~]# rbd map mypool/myimage1

/dev/rbd1

9：格式化

mkfs.xfs /dev/rbd1

10:建立挂载点、挂载磁盘

mkdir /myimage1

mount /dev/rbd1 /myimage1/

11:验证查看挂载分区

[root@node242 ~]# df -Th

Filesystem Type Size Used Avail Use% Mounted on

。。。。。。。。。。。。。。。

/dev/rbd0 xfs 10G 33M 10G 1% /myimage

/dev/rbd1 xfs 10G 33M 10G 1% /myimage1

[root@node242 ~]#

12:myimage目录创建测试文件

touch /myimage/{1..10}myimage.data.txt

查看数据生成

ll /myimage

total 0

-rw-r--r-- 1 root root 0 Oct 9 12:24 10myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 1myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 2myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 3myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 4myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 5myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 6myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 7myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 8myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 9myimage.data.txt

13:myimge创建一个快照：

[root@node242 ~]# rbd snap create mypool/myimage@myimagesnap

14:查看快照信息

[root@node242 ~]# rbd snap ls mypool/myimage

SNAPID NAME SIZE

2 myimagesnap 10240 MB

15:验证数据回滚

15.1:然后删除所有创建的文件

[root@node242 ~]# rm -rf /myimage/*

[root@node242 ~]# ll /myimage

total 0

15.2:回滚快照，

注意：回滚快照就是将当前镜像的数据用快照重新替换。回滚的执行时间随着镜像大小的增加而增加。克隆将会比回滚快照更花时间。

使用RBD命令回滚快照，指定snap rollback选项，指定池名称，镜像名称和单元名称。

[root@node242 ~]# rbd snap rollback mypool/myimage@myimagesnap

Rolling back to snapshot: 100% complete...done.

用于回滚部分，你要注意回滚意味着从快照中的数据覆盖当前版本，需要更长的时间与较大的镜像。因此，克隆是可取的快速恢复。

注意: 镜像快照回滚意味着从快照覆盖原快照当时版本的镜像数据。执行回滚所花费的时间与镜像的大小有关。快照克隆比快照回滚恢复得更快，它是返回到一个预先存在的状态优选的方法。

15.3:卸载挂载目录

[root@node242 ~]# umount /myimage

15.4:重新挂载

[root@node242 ~]# mount /dev/rbd0 /myimage

15.5:查看数据，已经恢复

[root@node242 ~]# ll /myimage

total 0

-rw-r--r-- 1 root root 0 Oct 9 12:24 10myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 1myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 2myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 3myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 4myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 5myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 6myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 7myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 8myimage.data.txt

-rw-r--r-- 1 root root 0 Oct 9 12:24 9myimage.data.txt

##############测试目的#############

1：image导入、导出，数据备份恢复；

2：导出image信息、导入到其它pool；

#############步骤16##############

16:###导出、导入镜像

16.1: 把ceph pool中的一个镜像导出

[root@node242 ~]# rbd export -p mypool --image myimage /tmp/exportmyimage.img

Exporting image: 100% complete...done

16.2:验证查看导出文件

[root@node242 ~]# ll /tmp/exportmyimage.img

-rw-r--r-- 1 root root 10737418240 Oct 9 13:29 /tmp/exportmyimage.img

16.3:把一个镜像导入ceph中

导入镜像名，不能与现有pool中的image重名

[root@node242 ~]# rbd import /tmp/exportmyimage.img -p mypool --image myimage2

Importing image: 100% complete...done.

16.4:验证查看导入镜像文件

[root@node242 ~]# rbd -p mypool ls

myimage

myimage1

myimage2

16.7:映射导入挂载镜像

[root@node242 ~]# rbd map mypool/myimage2

/dev/rbd2

16.8:挂载报错

[root@node242 ~]# mount -t xfs /dev/rbd2 /myimage3

mount: wrong fs type, bad option, bad superblock on /dev/rbd2,

missing codepage or helper program, or other error

In some cases useful info is found in syslog - try

dmesg | tail or so.

16.9:排查发现新导入的镜像的uuid和之前只做image 的uuid 一样，看来本机挂载需要修改硬盘的uuid 才行

[root@node242 ~]# blkid

。。。。。。。。。。。。。。。。。。。。

/dev/rbd0: UUID="517f2923-04eb-4168-ac0d-229a90e17534" TYPE="xfs" ？？？？

/dev/rbd1: UUID="aea281df-22e6-4411-a98c-688de1b45500" TYPE="xfs"

/dev/rbd2: UUID="517f2923-04eb-4168-ac0d-229a90e17534" TYPE="xfs" ？？？？

[root@node242 ~]#

16.10:换另外一台服务器试一下

先查看镜像是否存在

[root@node245 ~]# rbd -p mypool ls

myimage

myimage1

myimage2

16.11:做镜像映射

[root@node245 ~]# rbd map mypool/myimage2

/dev/rbd0

16.12:创建挂载目录

[root@node245 ~]# mkdir /myimage2

16.13:挂载分区

[root@node245 ~]# mount /dev/rbd0 /myimage2/

16.14:验证数据与到在源镜像导出时数据一致

[root@node245 ~]# ll /myimage2/

total 0

-rw-r--r--. 1 root root 0 Oct 9 00:24 10myimage.data.txt

-rw-r--r--. 1 root root 0 Oct 9 00:24 1myimage.data.txt

-rw-r--r--. 1 root root 0 Oct 9 00:24 2myimage.data.txt

-rw-r--r--. 1 root root 0 Oct 9 00:24 3myimage.data.txt

-rw-r--r--. 1 root root 0 Oct 9 00:24 4myimage.data.txt

-rw-r--r--. 1 root root 0 Oct 9 00:24 5myimage.data.txt

-rw-r--r--. 1 root root 0 Oct 9 00:24 6myimage.data.txt

-rw-r--r--. 1 root root 0 Oct 9 00:24 7myimage.data.txt

-rw-r--r--. 1 root root 0 Oct 9 00:24 8myimage.data.txt

-rw-r--r--. 1 root root 0 Oct 9 00:24 9myimage.data.txt

16.15:查看uuid 与源id一致

[root@node245 myimage2]# blkid

。。。。。。。。。。。。。。。。。

/dev/rbd0: UUID="517f2923-04eb-4168-ac0d-229a90e17534" TYPE="xfs"

16.16: 总结

导出的镜像文件导入集群后生成的硬盘UUID和之前的源镜像一致，挂载磁盘使用不能挂载再同一台主机。

##############测试目的#############

1：查看快照；

2：删除快照；

3：删除写保护的快照；

4：清除所有快照；

#############步骤17~19##############

17：查看快照

[root@node245 ~]# rbd snap ls mypool/myimage

SNAPID NAME SIZE

2 myimagesnap 10240 MB

18：要删除一个快照：

[root@node245 ~]# rbd snap rm mypool/myimage@myimagesnap

删除snap 删除snap报（rbd: snapshot 'snapshot-xxxx' is protected from removal.）写保护，使用 rbd snap unprotect volumes/snapshot-xxx' 解锁，然后再删除

注意: Ceph的OSDs删除数据不同步，所以删除快照的磁盘空间不会立即释放。

19：清除快照

19.1：用RBD删除所有快照镜像，指定snap purge选项和映像名称。

rbd --pool {pool-name} snap purge {image-name}

19.2：查看

[root@node243 t1image]# rbd snap ls mypool/myimage1

SNAPID NAME SIZE

3 myimage1snap 10240 MB

5 myimage1snap1 10240 MB

6 myimage1snap2 10240 MB

7 myimage1snap3 10240 MB

8 myimage1snap4 10240 MB

19.3：清除所有快照

[root@node243 t1image]# rbd snap purge mypool/myimage1

Removing all snapshots: 100% complete...done.

19.4：再次查看所有快照已经被删除

[root@node243 t1image]# rbd snap ls mypool/myimage1

##############RBD -管理RADOS块设备（RBD）的镜像，增量快照功能演示#############

##############测试目的###########

1：快照使用简介；

1：快照相关参数详解；

1：快照相关命令详解；

#############步骤1~3#############

1：简介

rbd [-c ceph.conf][-m monaddr][-p| -pool pool][-size size][-order bits][command...]

说明

rbd是一个实用程序，用于操纵rados块设备（RBD）的镜像，QEMU/KVM就是使用的Linux rbd驱动和rbd存储驱动。RBD镜像是分在对象和存储在RADOS对象存储中的简单的块设备。则散置对象镜像的大小必须是2的幂。

选项

-c ceph.conf， -- conf ceph.conf

使用ceph.conf配置文件，而不是默认的/etc/ceph/ceph.conf文件在启动过程中确定监控地址。

-m monaddress [：port]

连接到指定的监视地址上（而不是ceph.conf）。

-P pool, --pool pool

与池进行交互。大多数命令是必需的。

--no-progress

不输出进度信息（默认情况下，某些命令输出标准错误）

2：参数

--image-format format

指定使用对象布局。默认值是1。

format 1 - 一个新的RBD镜像使用原始的格式。所有版本的librbd和RBD内核模块理解这种格式，但不支持新的功能，如克隆。

format 2- 使用的第二个的RBD格式，这是在这个时候由librbd（但不包括RBD内核模块）支持。这增加了支持克隆和更容易扩展，让更多的功能，在未来的。

--snap snap

指定快照名称具体操作。

3：命令

clone [ parent-snapname ] [ image-name ]

将会创建一个父类快照的克隆(子类的副本) 。对象命令将会与父类镜像相同，除非指定。否则大小将会与父类快照相同。

父类快照必须要被保护 (参阅 rbd snap protect).。这需要format 2。

flatten [image-name]

如果镜像是被克隆的，从父类快照福之所有共享的块并且让子类独立于父类, 切断子类与父类快照的链接。如果没有依赖的克隆，父类快照能被不保护并且能被删除。这需要format 2。

children [image-name]

列出给定的快照中镜像的克隆。这检查了每个池,输出池名/镜像名的结果。

export [image-name] [dest-path]

导出至dest-path路径的镜像（在stdout中使用）。

import [path] [dest-path]

创建一个新的镜像，并导入其数据路径（使用-for 标准输出）。导入操作，如果可能的话，将尝试创建稀少RBD镜像。进口从标准输入，稀少化单元目标镜像数据块大小（1 << order）。

export-diff [image-name] [dest-path] [-from-snap snapname]

导出增量差异的镜像到dest的路径（使用 - 在stdout中）。如果指定一个初始快照，因为该快照都包含唯一的改变，否则，任何地区的镜像包含的数据。最终的快照被指定使用的标准 �Csnap或者 @snap 语法（见下文）。diff格式包括镜像的元数据，镜像大小的变化，并开始和结束的快照。它有效地代表丢弃或“零”的镜像区域。

import-diff [src-path] [image-name]

导入增量差异的镜像，并把它应用到当前的镜像。如果diff产生相对于一开始快照，我们确认，快照已经存在，然后再继续。如果有一个结束的快照，我们核实它不已经存在的应用更改之前，当我们完成创建快照。

diff [image-name] [-from-snap snapname]

转储字节扩展的镜像已经改变了，因为指定的起始快照或自创建映像的列表。每一条输出线包括起始偏移量（以字节为单位），该区域的长度（以字节为单位），无论是“零”或“数据”，以表示该区域是否是已知的零或可以含有其它的数据。

snap ls [image-name]

转储快照列表，里面有具体的镜像。

snap create[image-name]

创建一个新的快照。需要指定快照名称参数。

snap rollback[image-name]

回滚快照镜像内容。这将遍历的整个街区阵列和更新的数据头内容的快照版本。

snap rm [ image-name]

删除指定的快照。

snap purge [image-name]

从镜像中删除所有快照。

snap protect [image-name]

从删除保护的快照，使克隆可以用它制成的（见RBD克隆）。之前前克隆，快照，必须保护，保护意味着存在依赖克隆子类，是指本快照克隆RBD未受保护的快照将失败。这需要格式2。

snap unprotect [image-name]

撤消删除的快照（撤消单元保护）。如果克隆的子类，捕捉撤消失败。（注意克隆可能存在于不同的存储池，比母公司快照。）这需要格式2。

##############测试目的###########

1：创建快照；

2：快照写保护；

3：查看快照详细信息；

#############步骤1~5#############

1：创建image，为后续测试做准备；

[root@node243 t1image]# rbd create mypool/myimage5 --image-format 2 --size 10240

2：为image创建快照

[root@node243 myimage5]# rbd snap create mypool/[email protected]

3：查看快照信息；

[root@node243 myimage5]# rbd snap ls mypool/myimage5

SNAPID NAME SIZE

18 myimage5.snap1 10240 MB

[root@node243 myimage5]#

4：设置快照保护

[root@node243 myimage5]# rbd snap protect mypool/[email protected]

注意: 您无法删除受保护的快照。

5：查看快照详细信息，验证保护状态

[root@node243 ~]# rbd -p mypool info [email protected]

rbd image 'myimage5':

size 10240 MB in 2560 objects

order 22 (4096 kB objects)

block_name_prefix: rbd_data.5ebe2ae8944a

format: 2

features: layering

flags:

protected: True #状态

##############测试目的###########

1：快照克隆；

2：image信息夸pool克隆，功能验证；

3：clone数据验证；

#############步骤6~12#############

要克隆一个快照，指定您需要指定父类池，镜像和快照，子类池和镜像名称。你必须执行保护快照才可以克隆它。

6：将mypool/[email protected] 克隆到rbd 池名字为 clone-myimage5

[root@node243 myimage5]# rbd clone mypool/[email protected] rbd/clone-myimage5

7：验证镜像文件

[root@node243 myimage5]# rbd ls

foo

t1image

clone-myimage5

8：映射到一台主机

[root@node243 ~]# rbd map rbd/clone-myimage5

/dev/rbd2

9：建立挂载目录、挂载克隆镜像

[root@node243 ~]# mkdir /clone-myimage5

10：挂载报错是因为，本机已经挂载源镜像，被克隆的image 生成硬盘uuid 一样导致

[root@node243 ~]# mount /dev/rbd2 /clone-myimage5/

mount: wrong fs type, bad option, bad superblock on /dev/rbd2,

missing codepage or helper program, or other error

In some cases useful info is found in syslog - try

dmesg | tail or so.

查看硬盘uuid

[root@node243 ~]# blkid

/dev/sdb1: UUID="0b1a386a-e055-4b7a-8956-e13a638a4270" TYPE="xfs" PARTLABEL="ceph data" PARTUUID="bbb535a8-7c50-475b-9b7c-5def1790495f"

。。。。。。。。。。。。

/dev/rbd1: UUID="f47bd41d-85e7-4da7-b90a-b31259fb2225" TYPE="xfs"

/dev/rbd2: UUID="f47bd41d-85e7-4da7-b90a-b31259fb2225" TYPE="xfs"

[root@node243 ~]#

11：卸载源imagemap信息，挂载clone生成image信息，对比数据；

查看源镜像挂载后，存储数据、然后umount

[root@node243 ~]# ll /myimage5/

total 0

-rw-r--r-- 1 root root 0 Oct 9 20:00 10.myimage.test.data.txt

-rw-r--r-- 1 root root 0 Oct 9 20:00 1.myimage.test.data.txt

-rw-r--r-- 1 root root 0 Oct 9 20:00 2.myimage.test.data.txt

-rw-r--r-- 1 root root 0 Oct 9 20:00 3.myimage.test.data.txt

-rw-r--r-- 1 root root 0 Oct 9 20:00 4.myimage.test.data.txt

-rw-r--r-- 1 root root 0 Oct 9 20:00 5.myimage.test.data.txt

-rw-r--r-- 1 root root 0 Oct 9 20:00 6.myimage.test.data.txt

-rw-r--r-- 1 root root 0 Oct 9 20:00 7.myimage.test.data.txt

-rw-r--r-- 1 root root 0 Oct 9 20:00 8.myimage.test.data.txt

-rw-r--r-- 1 root root 0 Oct 9 20:00 9.myimage.test.data.txt

12：然后挂载克隆镜像，验证数据完全一致

[root@node243 ~]# mount /dev/rbd2 /clone-myimage5/

[root@node243 ~]# ll /clone-myimage5/