第三十三节、RAID/LVM

一、RAID磁盘阵列组

近年来， CPU的处理性能保持着高速增长，Intel公司在2017年最新发布的i9-7980XE处理器芯片更是达到了18核心36线程。但与此同时，硬盘设备的性能提升却不是很大，因此逐渐成为当代计算机整体性能的瓶颈。而且，由于硬盘设备需要进行持续、频繁、大量的IO操作，相较于其他设备，其损坏几率也大幅增加，导致重要数据丢失的几率也随之增加。
RAID技术通过把多个硬盘设备组合成一个容量更大、安全性更好的磁盘阵列，并把数据切割成多个区段后分别存放在各个不同的物理硬盘设备上，然后利用分散读写技术来提升磁盘阵列整体的性能，同时把多个重要数据的副本同步到不同的物理硬盘设备上，从而起到了非常好的数据冗余备份效果。

• RAID 0
  RAID 0技术把多块物理硬盘设备（至少两块）通过硬件或软件的方式串联在一起，组成一个大的卷组，并将数据依次写入到各个物理硬盘中。这样一来，在最理想的状态下，硬盘设备的读写性能会提升数倍，但是若任意一块硬盘发生故障将导致整个系统的数据都受到破坏。通俗来说，RAID 0技术能够有效地提升硬盘数据的吞吐速度，但是不具备数据备份和错误修复能力。如图所示，数据被分别写入到不同的硬盘设备中，即disk1和disk2硬盘设备会分别保存数据资料，最终实现分开写入、读取的效果。

  
  
  

  RAID0.png

• RAID 1
  尽管RAID 0技术提升了硬盘设备的读写速度，但是它是将数据依次写入到各个物理硬盘中，也就是说，它的数据是分开存放的，其中任何一块硬盘发生故障都会损坏整个系统的数据。因此，如果生产环境对硬盘设备的读写速度没有要求，而是希望增加数据的安全性时，就需要用到RAID 1技术了。
  在图所示的RAID 1技术示意图中可以看到，它是把两块以上的硬盘设备进行绑定，在写入数据时，是将数据同时写入到多块硬盘设备上（可以将其视为数据的镜像或备份）。当其中某一块硬盘发生故障后，一般会立即自动以热交换的方式来恢复数据的正常使用

  
  
  

  raid1.jpg
  
  

  RAID 1技术虽然十分注重数据的安全性，但是因为是在多块硬盘设备中写入了相同的数据，因此硬盘设备的利用率得以下降，从理论上来说，图7-2所示的硬盘空间的真实可用率只有50%，由三块硬盘设备组成的RAID 1磁盘阵列的可用率只有33%左右，以此类推。而且，由于需要把数据同时写入到两块以上的硬盘设备，这无疑也在一定程度上增大了系统计算功能的负载。

• RAID 5
  如图所示，RAID5技术是把硬盘设备的数据奇偶校验信息保存到其他硬盘设备中。RAID 5磁盘阵列组中数据的奇偶校验信息并不是单独保存到某一块硬盘设备中，而是存储到除自身以外的其他每一块硬盘设备上，这样的好处是其中任何一设备损坏后不至于出现致命缺陷；图中parity部分存放的就是数据的奇偶校验信息，换句话说，就是RAID 5技术实际上没有备份硬盘中的真实数据信息，而是当硬盘设备出现问题后通过奇偶校验信息来尝试重建损坏的数据。RAID这样的技术特性“妥协”地兼顾了硬盘设备的读写速度、数据安全性与存储成本问题。

  
  
  

  raid5.gif

• RAID 10
  鉴于RAID 5技术是因为硬盘设备的成本问题对读写速度和数据的安全性能而有了一定的妥协，但是大部分企业更在乎的是数据本身的价值而非硬盘价格，因此生产环境中主要使用RAID 10技术。
  顾名思义，RAID 10技术是RAID 1+RAID 0技术的一个“组合体”。如图7-4所示，RAID 10技术需要至少4块硬盘来组建，其中先分别两两制作成RAID 1磁盘阵列，以保证数据的安全性；然后再对两个RAID 1磁盘阵列实施RAID 0技术，进一步提高硬盘设备的读写速度。这样从理论上来讲，只要坏的不是同一组中的所有硬盘，那么最多可以损坏50%的硬盘设备而不丢失数据。由于RAID 10技术继承了RAID 0的高读写速度和RAID 1的数据安全性，在不考虑成本的情况下RAID 10的性能都超过了RAID 5，因此当前成为广泛使用的一种存储技术。

  
  
  

  raid-10-1024x508.png

部署RAID10

目前市场上主流RAID技术分为软硬两种

• 硬RAID,服务器购买时可以选购厂商提供的RAID卡,插入用硬盘后直接配置好RAID,这样系统安装读取时直接获取到一整块配置好的硬盘
• 软RAID,服务器直接安装后插入多块硬盘,在系统层面将多块硬盘进行RAID配置组合使用,一旦出现故障盘直接卸载替换
  除了RAID磁盘阵列一般还会使用一块热备盘,平时完全闲置,一旦某块RAID阵列的磁盘出现故障,热备盘立刻顶替并进行数据同步,达到保障数据安全的目的.不过处于性价比的考虑热备盘一般是和RAID5搭配使用,因为RAID5容错率较低,只允许坏1块硬盘,如果修复期间再损坏一块数据会完全丢失.
• 模拟实验环境:安装好的虚拟机关机后编辑配置添加4块硬盘(sdb/c/d/e),开机后通过mdadm命令进行配置

[root@localhost ~]#  mdadm -Cv /dev/md0 -a yes -n 4  -l 10 /dev/sd[b-e]
#参数大写C表示创建
#参数v表示显示创建过程
#/dev/md0是创建磁盘阵列组名字,挂载/dev目录下md0
#参数-a yes 表示检查名称是否冲突
#参数-n 4表示组成磁盘阵列的硬盘数量
#参数-l 10表示磁盘阵列组的模式是RAID10
#/dev/sd[b-e]通配使用的4块硬盘
[root@localhost ~]#  mdadm -Q  /dev/md0
/dev/md0: 39.97GiB raid10  4devices, 0 spares. Use mdadm
--detail for more detail.
#参数Q查看磁盘阵列组的简要信息
#参数D查看磁盘阵列组的详细信息

• 设置完磁盘阵列组后使用fdisk /dev/md0命令对磁盘阵列组md0进行分区
  一般分区后编号就是/dev/mdop1表示第一个主分区,如果/dev目录下没刷新出新的分区md0p1的信息即分区信息没有自动同步,两种处理办法：一、是重启服务器reboot.二、是手动执行partprobe命令两次进行强制同步分区信息到内核中.
• 如果磁盘阵列本身空间比较小可以直接跳过分区的步骤,进行格式化设置文件系统,命令mkfs.xfs /dev/md0p1
• 完成格式化后对分区进行挂载,关联分区和目录mount /dev/md0p1 /media/data/base
• 编辑/etc/fstab文件添加语句使md0挂载永久生效
  /dev/md0p1 /media/data/base xfs defaults 0 0

部署RAID5和热备盘

• 模拟实验环境:安装好的虚拟机关机后编辑配置添加4块硬盘(sdb/c/d/e),开机后通过mdadm命令进行配置，bcd三块盘设置RAID5,e盘设置为热备盘

[root@localhost ~]#  mdadm -Cv /dev/md0 -a yes -n 3  -l 5  -x 1  /dev/sd[b-e]
#参数-x 1表示设置一块热备盘
#通过上述参数系统会选出3块硬盘设置RAID5,剩下的一块作为热备盘

磁盘阵列组故障移除故障盘以及添加新硬盘(新硬盘会自动作为热备盘)

[root@localhost ~]# mdadm  /dev/md0  --remove  /dev/sdc
mdadm: hot removed  /dev/sdc  from  /dev/md0
[root@localhost ~]# mdadm  -a  /dev/md0  /dev/sdc 
mdadm: added  /dev/sdc

二、LVM逻辑卷管理器

逻辑卷管理器是Linux系统用于对硬盘分区进行管理的一种机制，理论性较强，其创建初衷是为了解决硬盘设备在创建分区后不易修改分区大小的缺陷。尽管对传统的硬盘分区进行强制扩容或缩容从理论上来讲是可行的，但是却可能造成数据的丢失。而LVM技术是在硬盘分区和文件系统之间添加了一个逻辑层，它提供了一个抽象的卷组，可以把多块硬盘进行卷组合并。这样一来，用户不必关心物理硬盘设备的底层架构和布局，就可以实现对硬盘分区的动态调整。LVM的技术架构如图所示

逻辑卷.png

举一个吃货的例子。比如小明家里想吃馒头但是面粉不够了，于是妈妈从隔壁老王家、老李家、老张家分别借来一些面粉，准备蒸馒头吃。首先需要把这些面粉（物理卷[PV，Physical Volume]）揉成一个大面团（卷组[VG，Volume Group]），然后再把这个大团面分割成一个个小馒头（逻辑卷[LV，Logical Volume]），而且每个小馒头的重量必须是每勺面粉（基本单元[PE，Physical Extent]）的倍数。
我们可以通过部署LVM来解决上述问题。部署LVM时，需要逐个配置物理卷、卷组和逻辑卷。常用的部署命令如表所示

功能/命令      物理卷管理         卷组管理      逻辑卷管理
扫描                pvscan           vgscan        lvscan
建立               pvcreate       vgcreate       lvcreate
显示          pvdisplay       vgdisplay       lvdisplay
删除            pvremove         vgremove   lvremove
扩展                                vgextend  lvextend
缩小                               vgreduce   lvreduce

• LVM逻辑卷管理器没有冗余备份功能要做好数据的备份
  还有xfs文件系统不支持LVM的缩小功能因此一般统一使用ext4
  这里先定义涉及的设备
  PV: /dev/sdb /dev/sdc
  VG: storage（自定义的卷组名）
  LV: vo（自定义的单元名）

部署LVM

• 第一步、让新添加的两块硬盘设备支持LVM技术

[root@linuxprobe ~]# pvcreate /dev/sdb /dev/sdc
 Physical volume "/dev/sdb" successfully created
 Physical volume "/dev/sdc" successfully created

• 第二步、把两块硬盘设备加入到storage卷组中，然后查看卷组的状态。storage存储,是自定义的卷组名称

[root@linuxprobe ~]# vgcreate storage /dev/sdb /dev/sdc
 Volume group "storage" successfully created
[root@linuxprobe ~]# vgdisplay
--- Volume group ---
 VG Name storage
 System ID 
 Format lvm2
 Metadata Areas 2
 Metadata Sequence No 1
 VG Access read/write
 VG Status resizable
 MAX LV 0
 Cur LV 0
 Open LV 0
 Max PV 0
 Cur PV 2
 Act PV 2
 VG Size 39.99 GiB
 PE Size 4.00 MiB
 Total PE 10238
 Alloc PE / Size 0 / 0  Free PE / Size 10238 / 39.99 GiB
 VG UUID KUeAMF-qMLh-XjQy-ArUo-LCQI-YF0o-pScxm1

• 第三步、切割出一个约为150MB的逻辑卷设备。这里需要注意切割单位的问题。在对逻辑卷进行切割时有两种计量单位。第一种是以容量为单位，所使用的参数为-L。例如，使用-L 150M生成一个大小为150MB的逻辑卷。另外一种是以基本单元的个数为单位，所使用的参数为-l。每个基本单元的大小默认为4MB。例如，使用-l 37可以生成一个大小为37×4MB=148MB的逻辑卷。

[root@linuxprobe ~]# lvcreate -n vo -l 37 storage
 Logical volume "vo" created
[root@linuxprobe ~]# lvdisplay 
 --- Logical volume ---
 LV Path /dev/storage/vo
 LV Name vo
 VG Name storage
 LV UUID D09HYI-BHBl-iXGr-X2n4-HEzo-FAQH-HRcM2I
 LV Write Access read/write
 LV Creation host, time localhost.localdomain, 2017-02-01 01:22:54 -0500
 LV Status available
 # open 0
 LV Size 148.00 MiB
 Current LE 37
 Segments 1
 Allocation inherit
 Read ahead sectors auto
 - currently set to 8192
 Block device 253:2

• 第四步、把生成好的逻辑卷进行格式化，然后挂载使用
  Linux系统会把LVM中的逻辑卷设备存放在/dev设备目录中（实际上是做了一个符号链接），同时会以卷组的名称来建立一个目录，其中保存了逻辑卷的设备映射文件（即/dev/卷组名称/逻辑卷名称）如： /dev/storage/vo

[root@linuxprobe ~]# mkfs.ext4 /dev/storage/vo 
mke2fs 1.42.9 (28-Dec-2013)
Filesystem label=
OS type: Linux
Block size=1024 (log=0)
Fragment size=1024 (log=0)
Stride=0 blocks, Stripe width=0 blocks
38000 inodes, 151552 blocks
7577 blocks (5.00%) reserved for the super user
First data block=1
Maximum filesystem blocks=33816576
19 block groups
8192 blocks per group, 8192 fragments per group
2000 inodes per group
Superblock backups stored on blocks: 
 8193, 24577, 40961, 57345, 73729
Allocating group tables: done 
Writing inode tables: done 
Creating journal (4096 blocks): done
Writing superblocks and filesystem accounting information: done 
[root@linuxprobe ~]# mkdir /linuxprobe
[root@linuxprobe ~]# mount /dev/storage/vo /linuxprobe

• 第五步、查看挂载状态，并写入到配置文件，使其永久生效。

[root@linuxprobe ~]# df -h
 Filesystem Size Used Avail Use% Mounted on
 /dev/mapper/rhel-root 18G 3.0G 15G 17% /
 devtmpfs 905M 0 905M 0% /dev
 tmpfs 914M 140K 914M 1% /dev/shm
 tmpfs 914M 8.8M 905M 1% /run
 tmpfs 914M 0 914M 0% /sys/fs/cgroup
 /dev/sr0 3.5G 3.5G 0 100% /media/cdrom
 /dev/sda1 497M 119M 379M 24% /boot
 /dev/mapper/storage-vo 145M 7.6M 138M 6% /linuxprobe
 [root@linuxprobe ~]# echo "/dev/storage/vo /linuxprobe ext4 defaults 0 0" >> /etc/fstab

LVM扩容

卷组是由两块硬盘设备共同组成的。用户在使用存储设备时感知不到设备底层的架构和布局，更不用关心底层是由多少块硬盘组成的，只要卷组中有足够的资源，就可以一直为逻辑卷扩容

• 首先卸载设备和挂载点的关联
  [root@linuxprobe ~]# umount /linuxprobe
• 把上一个实验中的逻辑卷vo扩展至290MB，扩容逻辑卷LV

[root@linuxprobe ~]# lvextend -L 290M /dev/storage/vo
 Rounding size to boundary between physical extents: 292.00 MiB
 Extending logical volume vo to 292.00 MiB
 Logical volume vo successfully resized

• 检查硬盘完整性，并重置硬盘容量

[root@linuxprobe ~]# e2fsck -f /dev/storage/vo #检查文件系统完整性看有无数据丢失
e2fsck 1.42.9 (28-Dec-2013)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/storage/vo: 11/38000 files (0.0% non-contiguous), 10453/151552 blocks
[root@linuxprobe ~]# resize2fs /dev/storage/vo  #通知文件系统容量大小发生变化,容量调整后的同步
resize2fs 1.42.9 (28-Dec-2013)
Resizing the filesystem on /dev/storage/vo to 299008 (1k) blocks.
The filesystem on /dev/storage/vo is now 299008 blocks long.

• 重新挂载硬盘设备并查看挂载状态

[root@linuxprobe ~]# mount -a
#挂载/etc/fstab中没有被使用的设备,自动挂载
[root@linuxprobe ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/rhel-root 18G 3.0G 15G 17% /
devtmpfs 985M 0 985M 0% /dev
tmpfs 994M 80K 994M 1% /dev/shm
tmpfs 994M 8.8M 986M 1% /run
tmpfs 994M 0 994M 0% /sys/fs/cgroup
/dev/sr0 3.5G 3.5G 0 100% /media/cdrom
/dev/sda1 497M 119M 379M 24% /boot
/dev/mapper/storage-vo 279M 2.1M 259M 1% /linuxprobe

缩小逻辑卷

相较于扩容逻辑卷，在对逻辑卷进行缩容操作时，其丢失数据的风险更大。所以在生产环境中执行相应操作时，一定要提前备份好数据。另外Linux系统规定，在对LVM逻辑卷进行缩容操作之前，要先检查文件系统的完整性（当然这也是为了保证我们的数据安全）。在执行缩容操作前记得先把文件系统卸载掉。[root@linuxprobe ~]# umount /linuxprobe

• 检查文件系统的完整性,并通知文件系统荣i昂缩小

[root@linuxprobe ~]# e2fsck -f /dev/storage/vo
e2fsck 1.42.9 (28-Dec-2013)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/storage/vo: 11/74000 files (0.0% non-contiguous), 15507/299008 blocks
[root@linuxprobe ~]# resize2fs /dev/storage/vo 120M
resize2fs 1.42.9 (28-Dec-2013)
Resizing the filesystem on /dev/storage/vo to 122880 (1k) blocks.
The filesystem on /dev/storage/vo is now 122880 blocks long.

• 把逻辑卷vo的容量减小到120MB

[root@linuxprobe ~]# lvreduce -L 120M /dev/storage/vo
 WARNING: Reducing active logical volume to 120.00 MiB
 THIS MAY DESTROY YOUR DATA (filesystem etc.)
Do you really want to reduce vo? [y/n]: y
 Reducing logical volume vo to 120.00 MiB
 Logical volume vo successfully resized

• 重新挂载文件系统并查看系统状态

[root@linuxprobe ~]# mount -a
[root@linuxprobe ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/rhel-root 18G 3.0G 15G 17% /
devtmpfs 985M 0 985M 0% /dev
tmpfs 994M 80K 994M 1% /dev/shm
tmpfs 994M 8.8M 986M 1% /run
tmpfs 994M 0 994M 0% /sys/fs/cgroup
/dev/sr0 3.5G 3.5G 0 100% /media/cdrom
/dev/sda1 497M 119M 379M 24% /boot
/dev/mapper/storage-vo 113M 1.6M 103M 2% /linuxprobe

逻辑卷快照

LVM还具备有“快照卷”功能，该功能类似于虚拟机软件的还原时间点功能。例如，可以对某一个逻辑卷设备做一次快照，如果日后发现数据被改错了，就可以利用之前做好的快照卷进行覆盖还原。LVM的快照卷功能有两个特点：

• 快照卷的容量必须等同于逻辑卷的容量
• 快照卷仅一次有效，一旦执行还原操作后则会被立即自动删除。
  使用-s参数生成一个快照卷，使用-L参数指定切割的大小。另外，还需要在命令后面写上是针对哪个逻辑卷执行的快照操作

[root@linuxprobe ~]# lvcreate -L 120M -s -n SNAP /dev/storage/vo
 Logical volume "SNAP" created

恢复快照需要先卸载设备然后还原

[root@linuxprobe ~]# umount /linuxprobe
[root@linuxprobe ~]# lvconvert --merge /dev/storage/SNAP
 Merging of volume SNAP started.
 vo: Merged: 21.4%
 vo: Merged: 100.0%
 Merge of snapshot into logical volume vo has finished.
 Logical volume "SNAP" successfully removed

快照卷会被自动删除掉。

删除LVM

需要提前备份好重要的数据信息，然后依次删除逻辑卷、卷组、物理卷设备，这个顺序不可颠倒

• 取消逻辑卷与目录的挂载关联，删除配置文件中永久生效的设备参数。

[root@linuxprobe ~]# umount /linuxprobe
[root@linuxprobe ~]# vim /etc/fstab
#
# /etc/fstab
# Created by anaconda on Fri Feb 19 22:08:59 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/rhel-root / xfs defaults 1 1
UUID=50591e35-d47a-4aeb-a0ca-1b4e8336d9b1 /boot xfs defaults 1 2
/dev/mapper/rhel-swap swap swap defaults 0 0
/dev/cdrom /media/cdrom iso9660 defaults 0 0 
/dev/storage/vo /linuxprobe ext4 defaults 0 0

• 删除逻辑卷设备，需要输入y来确认操作

[root@linuxprobe ~]# lvremove /dev/storage/vo 
Do you really want to remove active logical volume vo? [y/n]: y
 Logical volume "vo" successfully removed

• 删除卷组，此处只写卷组名称即可，不需要设备的绝对路径

[root@linuxprobe ~]# vgremove storage
 Volume group "storage" successfully removed

• 删除物理卷设备

[root@linuxprobe ~]# pvremove /dev/sdb /dev/sdc
 Labels on physical volume "/dev/sdb" successfully wiped
 Labels on physical volume "/dev/sdc" successfully wiped

在上述操作执行完毕之后，再执行lvdisplay、vgdisplay、pvdisplay命令来查看LVM的信息时就不会再看到信息了（前提是上述步骤的操作是正确的）