LinuxRAID磁盘阵列

转载自： http://3310438.blog.51cto.com/3300438/866143

RAID磁盘阵列

 

目录：

1. 摘要

2. RAID级别

3. Linux软件RAID实例

4. 性能测试对比

5. 故障模拟

 

 

1. 摘要

    早在1978年美国加州大学伯克利分校就提出了RAID虚拟存储系统。RAID全称：Redundant Array of Independent Disk，独立冗余磁盘阵列。其思想是将多块独立的磁盘按不同的方式组合为一个逻辑磁盘，从而提高存储容量或提升存储性能或提供数据备份功能。RAID存储系统的组合方式根据RAID级别定义。

    RAID种类：软件RAID，硬件RAID。在现有的操作系统中如Windows、Linux、Unix等已经集成了软RAID的功能。软RAID可以实现与硬件RAID相同的功能，但由于其没有独立的硬件控制设备，所以性能不如硬件RAID，但软RAID实现简单、不需要额外的硬件设备。硬件RAID通常需要有RAID卡，RAID卡本身会有独立的控制部件与内存，所以不会占有系统资源，效率高、性能强。当然目前市面上有很多主板已经集成了RAID卡，具体的使用方式可以参考硬件说明书。

    现在RAID存储系统被广泛应用于生产环境作为存储解决方案。

******************************************************************************************************

2. RAID级别

    RAID根据组合的方式不同有多种设计解决方案，以下介绍几种常见的RAID方案（RAID级别）。

 

  2.1. RAID 0(不含校验与冗余的条带存储)

    多块磁盘组合为RAID 0后，数据将被分割并分别存储在每块硬盘中，所以能最大的提升存储性能与存储空间，但无法容错，RAID 0至少需要两块磁盘。存储原理如下图：(  )为剩余空间。

 

RAID 0

 |

---------------------

         |       |

  (_DATA1_) (_DATA2_)

  (_DATA3_) (_DATA4_)

  (_DATA5_) (_DATA6_)

  (_DATA7_) (_DATA8_)

   (       )          (       )

   (       )          (       )

     磁盘1    磁盘2

 

    说明：如果有一个文件要写入RAID 0，则该文件会被分割为多个部分（上图分割了8个数据块），DATA1与DATA2被同时分别存入磁盘1与磁盘2，其他部分依次类推。读取该文件时，将同时从磁盘1与磁盘2中读取数据。

    如果两块磁盘的存储空间为20G，则RAID 0的总存储空间为40G。

    缺点：因为没有校验与备份，两个硬盘中如果有一块磁盘损坏，即磁盘中的任何一个数据块损坏将导致整个文件无法读取。

 

  2.2. RAID 1(不含校验的镜像存储)

     多块磁盘组合为RAID 1后，数据将被同时复制到每块硬盘中，制作这种磁盘阵列至少需要2块硬盘，该级别的RAID只要有一块磁盘可用即可正常工作，该级别的阵列安全行是最好的，磁盘利用率是最低的。

 

RAID 1

    |

      -------------------------

      |                 |

  (_DATA1_) (_DATA1_)

  (_DATA2_) (_DATA2_)

  (_DATA3_) (_DATA3_)

  (_DATA4_) (_DATA4_)

   (       )          (       )

   (       )          (       )

     磁盘1     磁盘2

 

      说明：如果有一个文件要写入RAID 1，则该文件会被分成数据块写入磁盘1，同时写入磁盘2，DATA1与DATA2被同时存入磁盘1与磁盘2，其他部分依次类推。RAID 1写入数据的效率会降低，因为数据需要同时写入两块硬盘，但RAID 1读取数据的效率会提升，因为可以同时从两块硬盘读取数据。

 

  2.3 RAID 2（位级别的校验式条带存储）

      多块磁盘组合为RAID 2后，数据将以位(bit)为单位同步式分别存储在不同的硬盘上，并采用海明码对数据进行校验与恢复。

 

    RAID 2

        |

      --------------------------------

              |               |      |

  (_DATA1_) (_DATA2_) (_Parity1_)

  (_DATA3_) (_DATA4_) (_Parity2_)

  (_DATA5_) (_DATA6_) (_Parity3_)

  (_DATA7_) (_DATA8_) (_Parity4_)

   (       )  (       )   (       )

   (       )  (       )   (       )

     磁盘1    磁盘2     磁盘3

 

      说明：如果有一个文件要写入RAID 2，则该文件会被分成数据位分别同步写入到不同的磁盘中，DATA1与DATA2进行海明码运算后别写入校验盘中，其他部分依次类推。RAID 2对大数据量的读写具有很高的性能，但少量数据的读写时性能反而不好，该磁盘阵列至少需要3块硬盘。

 

      异或运算：

0 异或 0 = 0

0 异或 1 = 1

1 异或 0 = 1

1 异或 1 = 0

 

           数据1：10010110

           数据2：01011001

异或运算结果：11001111

      从这些数据可以看出任何一组数据丢失，都可以由另外两组数据运算恢复！

 

    2.4 RAID 3（字节级别的校验式条带存储）

          该级别的磁盘阵列可以参考RAID 2的读写原理，仅数据分割的单位为字节。

 

    2.5 RAID 4 （数据块级别的校验式条带存储）

          该级别的磁盘阵列与RAID 5类似，仅校验数据被写入至同一块硬盘中。

 

 RAID 4

       |

        ----------------------------------------------

                |       |            |            |

  (_DATA1_) (_DATA2_) (_DATA3_) (_Parity1_)

  (_DATA4_) (_DATA5_) (_DATA6_) (_Parity2_)

  (_DATA7_) (_DATA8_) (_DATA9_) (_Parity3_)

  (_DATA10_) (_DATA11_) (_DATA12_) (_Parity4_)

   (       )  (       )  (      )        (       )

           (       )  (       )  (      )  (       )

     磁盘1    磁盘2    磁盘3    磁盘4

 

    2.6 RAID 5 （数据块级别的分布式校验条带存储）

          

   RAID 5

         |

       -------------------------------

               |       |              |

  (_DATA1_) (_DATA2_) (_Parity1_) 

  (_DATA3_) (_Parity2_) (_DATA4_)

  (_Parity5_) (_DATA5_) (_Parity6_)  

    (       )    (       )  (      )

    (       )  (       )  (      )  

     磁盘1    磁盘2    磁盘3

 

******************************************************************************************************

 

3. Linux软件RAID实例（红色字体为自己输入的命令，其他为命令的输出）

 

第一步：

查看磁盘信息如下：

#[root@localhost ~]# fdisk -l

 

Disk /dev/sda: 21.4 GB, 21474836480 bytes

255 heads, 63 sectors/track, 2610 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

 

   Device Boot      Start         End      Blocks   Id  System

/dev/sda1   *           1          13      104391   83  Linux

/dev/sda2              14        2610    20860402+  8e  Linux LVM

 

Disk /dev/sdb: 2147 MB, 2147483648 bytes

255 heads, 63 sectors/track, 261 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

 

Disk /dev/sdb doesn't contain a valid partition table

 

Disk /dev/sdc: 2147 MB, 2147483648 bytes

255 heads, 63 sectors/track, 261 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

 

Disk /dev/sdc doesn't contain a valid partition table

 

Disk /dev/sdd: 2147 MB, 2147483648 bytes

255 heads, 63 sectors/track, 261 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

 

Disk /dev/sdd doesn't contain a valid partition table

 

    由以上信息可以看出本机有sdb，sdc，sdd三块硬盘未分区，如果需要在Linux中实现软RAID，可以将每块硬盘分一个区组建RAID，同样可以对硬盘分多个区实现软RAID，这里我们每块硬盘分两个区。

 

第二步：

创建硬盘分区：

[root@localhost ~]# fdisk /dev/sdb

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel. Changes will remain in memory only,

until you decide to write them. After that, of course, the previous

content won't be recoverable.

 

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

 

Command (m for help): n 新建分区

Command action 可选择的分区类型有Primary（主分区）和extended（扩展分区）

   e   extended

   p   primary partition (1-4)

p 这里选择主分区

Partition number (1-4): 1 分区编号输入为1

First cylinder (1-261, default 1): 默认从第一个磁柱开始分区（ 回车即可）

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-261, default 261): +1G 输入分区大小（注意+）

一下方法与上面相同，创建第二个分区：

 

Command (m for help): n

Command action

   e   extended

   p   primary partition (1-4)

p

Partition number (1-4): 2

First cylinder (124-261, default 124):             (回车）

Using default value 124

Last cylinder or +size or +sizeM or +sizeK (124-261, default 261):   （回车） 

Using default value 261

 

这里输入t，用来改变分区类型

Command (m for help): t 

Partition number (1-4): 1 注明修改第一个分区的类型

Hex code (type L to list codes): fd 格式为fd，即raid。不清楚格式时可以输入L查看所有分区类型

 

Command (m for help): t

Partition number (1-4): 2

Hex code (type L to list codes): fd

Changed system type of partition 2 to fd (Linux raid autodetect)

 

Command (m for help): p 查看硬盘分区结果

 

Disk /dev/sdb: 2147 MB, 2147483648 bytes

255 heads, 63 sectors/track, 261 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

 

   Device Boot      Start         End      Blocks   Id  System

/dev/sdb1               1         123      987966   fd  Linux raid autodetect

/dev/sdb2             124         261     1108485   fd  Linux raid autodetect

 

Command (m for help): w 保存退出

The partition table has been altered!

 

Calling ioctl() to re-read partition table.

Syncing disks.

 

**********************************************

****     其他两块硬盘执行相同操作！！！     ****

**********************************************

 

[root@localhost ~]# partprobe -a 自动识别新建的分区

 

 

第三步：

创建RAID，这里仅以RAID0与RAID5为例，其余级别的磁盘阵列操作方法类似

 

RAID 0

 

    1.创建RAID 0

[root@localhost ~]# mdadm  -C  /dev/md0 -l 0 -n 3  /dev/sdb1  /dev/sdc1  /dev/sdd1

mdadm: array /dev/md0 started.

注释：-C为创建(create)， -l指定RAID级别（level），-n说明磁盘个数

 

    2.查看RAID 0详细信息

[root@localhost ~]# mdadm --detail  /dev/md0 查看md0信息

/dev/md0:

        Version : 0.90

  Creation Time : Thu May 17 03:46:55 2012 创建时间

     Raid Level : raid0         RAID级别

     Array Size : 2963520 (2.83 GiB 3.03 GB) RAID磁盘空间

   Raid Devices : 3 磁盘个数

  Total Devices : 3

Preferred Minor : 0

    Persistence : Superblock is persistent

 

    Update Time : Thu May 17 03:46:55 2012

          State : clean

 Active Devices : 3 活动磁盘个数

Working Devices : 3         工作磁盘个数

 Failed Devices : 0 错误磁盘个数

  Spare Devices : 0 空闲磁盘个数

 

     Chunk Size : 64K

 

           UUID : 62e9bd3e:f4dcf02d:319e2a62:8099eb72 设备UUID

         Events : 0.1

 

    Number   Major   Minor   RaidDevice State

       0       8       17        0      active sync   /dev/sdb1

       1       8       33        1      active sync   /dev/sdc1

       2       8       49        2      active sync   /dev/sdd1

 

格式或并使用：

[root@localhost ~]# mkfs.ext3 /dev/md0

[root@localhost ~]# mkdir  /raid0;  mount  /dev/md0   /raid0

 

RAID 5

    1.创建RAID 5

[root@localhost ~]# mdadm  -C  /dev/md1 -l 5 -n 3 -x 1  /dev/sdb2  /dev/sdc2  /dev/sdd2  /dev/sde2

mdadm: array /dev/md1 started.

 

注释：-C为创建(create)， -l指定RAID级别（level），-n说明磁盘个数，x指定备用设备个数（因为RAID 5允许设备的损坏，因此指定一个备用设备，可以在活动设备损坏时自动替换为备用设备）

 

    2.查看RAID 5详细信息

 

[root@localhost ~]# mdadm --detail  /dev/md1

/dev/md1:

        Version : 0.90

  Creation Time : Thu May 17 03:55:31 2012

     Raid Level : raid5

     Array Size : 2216832 (2.11 GiB 2.27 GB)

  Used Dev Size : 1108416 (1082.62 MiB 1135.02 MB)

   Raid Devices : 3 活动磁盘为3

  Total Devices : 4 总磁盘数为4，1个为备用磁盘

Preferred Minor : 1

    Persistence : Superblock is persistent

 

    Update Time : Thu May 17 03:56:20 2012

          State : clean

 Active Devices : 3

Working Devices : 4

 Failed Devices : 0

  Spare Devices : 1

 

         Layout : left-symmetric

     Chunk Size : 64K

 

           UUID : 6c02bbcd:2a7a1d34:940e387b:ce0fa999

         Events : 0.2

 

    Number   Major   Minor   RaidDevice State

       0       8       18        0      active sync   /dev/sdb2

       1       8       34        1      active sync   /dev/sdc2

       2       8       50        2      active sync   /dev/sdd2

 

       3       8       66        -      spare   /dev/sde2 该磁盘为备用磁盘

 

格式或并使用：

[root@localhost ~]# mkfs.ext3 /dev/md1

[root@localhost ~]# mkdir  /raid5;  mount  /dev/md1   /raid5

 

 

4.性能测试对比

 

**************************

**  普通磁盘：写入模拟  **

**************************

[root@localhost ~]# time dd if=/dev/zero of=txt bs=1M count=1000

1000+0 records in

1000+0 records out

1048576000 bytes (1.0 GB) copied, 21.7965 seconds, 48.1 MB/s

real    0m23.262s

user    0m0.001s

sys     0m2.209s

可以看出对普通磁盘写入1G的数据所需总时间为23.262秒

 

 

*************************

**  RAID 0：写入模拟   **

*************************

[root@localhost raid0]# time dd if=/dev/zero of=txt bs=1M count=1000

1000+0 records in

1000+0 records out

1048576000 bytes (1.0 GB) copied, 3.87193 seconds, 271 MB/s

real    0m4.308s

user    0m0.001s

sys     0m1.604s

可以看出对RAID 0写入1G数据所需总时间为4.308秒

 

*************************

**   RAID 5：写入模拟  **

*************************

[root@localhost raid5]# time dd if=/dev/zero of=txt bs=1M count=1000

1000+0 records in

1000+0 records out

1048576000 bytes (1.0 GB) copied, 12.5047 seconds, 83.9 MB/s

real    0m12.614s

user    0m0.004s

sys     0m3.705s

可以看出由于RAID 5需要生成校验位数据，所以写入数据的速度比RAID 0慢，但比普通磁盘快，写入1G数据所需总时间为12.614秒

 

5. 故障模拟（RAID 5）

 

[root@localhost raid5]# mdadm /dev/md1 -f /dev/sdb2

mdadm: set /dev/sdb2 faulty in /dev/md1

注释：使用-f选项（failed）模拟磁盘sdb2的损坏

 

由于上面做性能测试时已经往RAID 5中写入了1G的数据，所以使用命令模拟磁盘损坏后，快速的查看RAID详细信息可以看出正在使用/dev/sde2重建数据（还原），而本来的/dev/sdb2成为了损坏的空闲设备

[root@localhost ~]# mdadm --detail /dev/md1

... ... ... ... ... ... ...

... ... ... ... ... ... ...

... ... ... ... ... ... ...

    Number   Major   Minor   RaidDevice State

       3       8       66        0      spare rebuilding   /dev/sde2

       1       8       34        1      active sync   /dev/sdc2

       2       8       50        2      active sync   /dev/sdd2

       4       8       18        -      faulty spare   /dev/sdb2

 

最后：现实生产环境中均使用安全、可靠、高效的硬件磁盘阵列，但通过以上实验可以让我们对整体的磁盘阵列的原理有个全面而充分的认知！