14.文件系统――软RAID的实现（一）（mdadm，RAID0，主次设备号）

前文中介绍过，软RAID其实是通过md来实现的，它本质上是一个程序，用来模拟RAID。它依赖于CPU完成，需要占用大量的CPU时钟周期，所以性能不会太好；并且它完全依赖于当前操作系统，所以一旦操作系统损坏，则很有可能影响到该RAID的使用，因此在生产环境中，不建议使用软RAID。这里仅对软RAID的实现方式作一些简单的介绍。

md模块可以基于任何块设备来创建，也就意味着它可以使用一个完整的分区来创建，例如使用/dev/sdb5和/dev/sdb6来实现RAID1；它可以在/dev/md0和/dev/md1上实现RAID0。但是需要注意的是，在生产环境中不建议使用同一个块设备来实现软RAID，因为如果该块设备坏了，整个RAID就坏了。

 

一、mdadm使用的模式

创建软RAID需要使用到mdadm这个命令，它是一个模式化的命令，通过不同的选项它可以工作在不同模式下。

我们可以使用man命令来查看一下mdadm的使用方法：

[root@localhost ~]# man mdadm

MDADM(8)                                                             MDADM(8)

NAME

       mdadm - manageMD devices aka Linux Software RAID

SYNOPSIS

       mdadm [mode]<raiddevice> [options] <component-devices>

DESCRIPTION

       RAID devicesare virtual devices created from two or more real block devices.

OPTIONS

Options for selecting a mode are:

-A, --assemble Assemble apre-existing array.

#装配模式――从其他设备上拆卸下来，然后装备到当前系统上

-B, --build Build a legacy arraywithout superblocks.

#在一个没有superblocks的阵列上构建RAID

-C, --create Create a new array.

#创建模式――创建一个软RAID

-F, --follow, --monitor SelectMonitor mode.

#监控模式――如果RAID设备发生了故障，就会通过邮件等手段进行通知

-G, --grow Change the size orshape of an active array.

#增长RAID的空间，比如原来是三块磁盘做成的RAID，现在新增了一块磁盘，总磁盘空间变大了

-I, --incremental  Add/remove a single device to/from anappropriate array, and possibly start the array.

#通过增加设备的方式增加RAID的大

-D, --detail  Print details of one or more md devices.

#监控某个RAID设备的详细信息

If  a device  is  given before any options, or if the firstoption is --add, --fail, or --remove, then the MANAGE mode is assumed.

#管理模式――默认工作在管理模式下

 

mdadm命令的基本格式为：

mdadm /dev/md# option /dev/DEVICE_NAME

它在-C创建模式下还可以一些选项：

-a{yes|no}：表示是否为新建的RAID设备自动创建设备文件/dev/md#

-l #：指定RAID级别

-n #：指定用于创建Raid的块设备的个数（不包括备盘）

-c #：指定chunck大小，如64k，32k等，它是数据块的大小

-x #：指定备盘的个数

注意RAID0不支持备盘，因此如果-l选项后面跟了0，则不能指定备盘。

 

二、创建RAID实例演示

例1. 创建一个大小为10G的RAID0：

上文提到过，不建议在同一个设备上模拟软RAID，因此我们可以在虚拟机上再挂载两块新磁盘，每一块大小为10G，于是通过fdisk命令可以看到当前系统上有4个设备：/dev/sda,/dev/sdb, /dev/sdc和/dev/sdd:

 

[root@localhost~]# fdisk -l

―――――――――――――运行结果―――――――――――――

Disk/dev/sda: 26.8 GB, 26843545600 bytes
255heads, 63 sectors/track, 3263 cylinders
 
Disk/dev/sdb: 102.0 GB, 102005473280 bytes
255heads, 63 sectors/track, 12401 cylinders
 
Disk/dev/sdc: 10.7 GB, 10737418240 bytes
255heads, 63 sectors/track, 1305 cylinders
 
Disk/dev/sdd: 10.7 GB, 10737418240 bytes
255heads, 63 sectors/track, 1305 cylinders

 

现在分别让 /dev/sdc 和 /dev/sdd各提供5G的磁盘，来创建这个10G的RAID0。

 

[root@localhost~]# fdisk /dev/sdc

#在/dev/sdc上创建一个5G的分区
Devicecontains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Buildinga new DOS disklabel with disk identifier 0xb8ee6343.
Changeswill remain in memory only, until you decide to write them.
Afterthat, of course, the previous content won't be recoverable.
 
Warning:invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
 
WARNING:DOS-compatible mode is deprecated. It's strongly recommended to
         switch off the mode (command 'c') andchange display units to
         sectors (command 'u').
 
Command(m for help): n
Commandaction
   e  extended
   p  primary partition (1-4)
p
Partitionnumber (1-4): 1
Firstcylinder (1-1305, default 1):
Usingdefault value 1
Lastcylinder, +cylinders or +size{K,M,G} (1-1305, default 1305): +5G
 
Command(m for help): p
 
Disk/dev/sdc: 10.7 GB, 10737418240 bytes
255heads, 63 sectors/track, 1305 cylinders
Units= cylinders of 16065 * 512 = 8225280 bytes
Sectorsize (logical/physical): 512 bytes / 512 bytes
I/Osize (minimum/optimal): 512 bytes / 512 bytes
Diskidentifier: 0xb8ee6343
 
   Device Boot      Start         End     Blocks   Id System
/dev/sdc1               1         654    5253223+  83  Linux
 
Command(m for help): l
 # 查看一下可支持的文件系统的编号
 0 Empty      24  NEC DOS     81 Minix / old Lin bf  Solaris       
 1 FAT12      39  Plan 9      82 Linux swap / So c1  DRDOS/sec(FAT-
 2  XENIXroot 3c  PartitionMagic  83 Linux       c4  DRDOS/sec (FAT-
 3  XENIXusr  40  Venix 80286     84 OS/2 hidden C:  c6  DRDOS/sec (FAT-
 4  FAT16<32M 41  PPC PReP Boot   85 Linux extended  c7  Syrinx        
 5 Extended   42  SFS             86 NTFS volume set da  Non-FSdata   
 6 FAT16      4d  QNX4.x          87 NTFS volume set db  CP/M / CTOS /.
 7 HPFS/NTFS  4e  QNX4.x 2nd part 88  Linux plaintext de  Dell Utility  
 8 AIX        4f  QNX4.x 3rd part 8e  Linux LVM       df BootIt        
 9  AIXbootable  50  OnTrack DM      93 Amoeba          e1  DOS access    
 a  OS/2Boot Manag 51  OnTrack DM6 Aux 94  Amoeba BBT   e3 DOS R/O       
 b  W95FAT32       52 CP/M         9f  BSD/OS          e4 SpeedStor     
 c  W95FAT32 (LBA) 53 OnTrack DM6 Aux a0 IBM Thinkpad hi eb  BeOS fs      
 e  W95FAT16 (LBA) 54  OnTrackDM6    a5 FreeBSD         ee  GPT           
 f  W95Ext'd (LBA) 55  EZ-Drive     a6 OpenBSD         ef  EFI (FAT-12/16/
10  OPUS           56 Golden Bow   a7  NeXTSTEP        f0 Linux/PA-RISC b
11  Hidden FAT12   5c Priam Edisk   a8  Darwin UFS      f1 SpeedStor     
12  Compaq diagnost 61  SpeedStor    a9 NetBSD          f4  SpeedStor     
14  Hidden FAT16 <3 63  GNU HURD or Sys ab Darwin boot  f2 DOS secondary 
16  Hidden FAT16    64 Novell Netware  af  HFS / HFS+   fb VMware VMFS   
17  Hidden HPFS/NTF 65  Novell Netware  b7 BSDI fs      fc  VMware VMKCORE
18  AST SmartSleep  70 DiskSecure Mult b8  BSDI swap    fd Linux raid auto
# 必须使用fd才能支持软RAID，故需要使用t进行调整
1b  Hidden W95 FAT3 75  PC/IX        bb Boot Wizard hid fe  LANstep       
1c  Hidden W95 FAT3 80  Old Minix   be Solaris boot    ff  BBT           
1e  Hidden W95 FAT1
 
Command(m for help): t
# 使用t进行调整
Selectedpartition 1
Hexcode (type L to list codes): fd
# 调整为fd
Changedsystem type of partition 1 to fd (Linux raid autodetect)
 
Command(m for help): p
# 使用p查看设备信息
Disk/dev/sdc: 10.7 GB, 10737418240 bytes
255heads, 63 sectors/track, 1305 cylinders
Units= cylinders of 16065 * 512 = 8225280 bytes
Sectorsize (logical/physical): 512 bytes / 512 bytes
I/Osize (minimum/optimal): 512 bytes / 512 bytes
Diskidentifier: 0xb8ee6343
 
   Device Boot    Start         End      Blocks  Id  System
/dev/sdc1            1         654    5253223+  fd  Linux raid autodetect
# 可以看到新建的分区id已经改成了fd
 
Command(m for help): w
# 保存退出
Thepartition table has been altered!
 
Callingioctl() to re-read partition table.
Syncingdisks.

 

注意，保存退出后不要格式化该设备，因为不能对一个软RAID设备进行格式化。

[root@localhost~]# partx -a /dev/sdc

BLKPG:Device or resource busy
erroradding partition 1

[root@localhost~]# partx -a /dev/sdc1 /dev/sdc

# 同步新分区到内核中

[root@localhost~]# cat /proc/partitions

# 查看是否同步成功
majorminor  #blocks  name
 
   8       0   26214400 sda
   8       1     512000 sda1
   8       2   25701376 sda2
   8      16   99614720 sdb
   8      19   10490413 sdb3
   8      20          1 sdb4
   8      21    5253223 sdb5
   8      22    1060258 sdb6
   8      32   10485760 sdc
   8      33    5253223 sdc1
     # 已经能够识别新分区sdc1了
   8      48   10485760 sdd
 253       0   23633920 dm-0
 253       1    2064384 dm-1

 

下面重复上述步骤，在/dev/sdd上创建一个5G的分区，创建过程不加赘述。

[root@localhost~]# partx -a /dev/sdd1 /dev/sdd

[root@localhost~]# cat /proc/partitions

majorminor  #blocks  name
 
   8       0   26214400 sda
   8       1     512000 sda1
   8       2   25701376 sda2
   8      16   99614720 sdb
   8      19   10490413 sdb3
   8      20          1 sdb4
   8      21    5253223 sdb5
   8      22    1060258 sdb6
   8      32   10485760 sdc
   8      33    5253223 sdc1
   8      48   10485760 sdd
   8      49    5253223 sdd1
 # 两个分区sdc1和sdd1都已经创建好了
 253       0   23633920 dm-0
 253       1    2064384 dm-1

 

下面将sdc1和sdd1这两个分区创建成一个RAID0：

 

首先，通过查看/proc/mdstat这个文件来确认当前的md设备状态

[root@localhost~]# cat /proc/mdstat

Personalities:
unuseddevices: <none>
# 结果显示当前没有md设备

 

也可以通过ls命令来查看/dev目录来获取md设备的信息：

[root@localhost~]# ls /dev/md*

ls:cannot access /dev/md*: No such file or directory
# 说明还没有md设备，因此可以从md0开始创建

 

[root@localhost~]# mdadm -C /dev/md0 -a yes -l 0 -n 2 /dev//sd{c,d}1

# -C选项用来指定要创建的RAID设备为/dev/md0;
# -a yes 用来指定自动为RAID设备创建/dev/md0;
# -l 选项用来指定RAID级别为0；
# -n 选项用来指定使用2个设备，分别是/dev/sdc1和/dev/sdd1
# 注意，这里没有使用-x选项指定备盘，因为RAID0没有备盘
mdadm:Defaulting to version 1.2 metadata
mdadm:array /dev/md0 started.
# 提示创建了/dev/md0

[root@localhost~]# cat /proc/mdstat

Personalities: [raid0]
md0 :active raid0 sdd1[1] sdc1[0]
      10506240 blocks super 1.2 512k chunks
# 可以看到md0的信息了：md0的RAID级别是0，使用了两个设备sdc1和sdd1；
# md0 一共有10G，每个数据块是512K      
unuseddevices: <none>
[root@localhost~]# ls /dev/md*
/dev/md0
/dev/md:
md-device-map
# 使用ls命令同样也能查看到md0设备

[root@localhost~]# cd /dev/md

[root@localhostmd]# ls

md-device-map

[root@localhostmd]# file md-device-map

md-device-map:ASCII text
# /dev/md目录下的文件md-device-map是个ASCII文件
# 该文件用来保存当前系统上md设备的映射关系等相关信息

[root@localhostmd]# cat md-device-map

md01.2 390f891c:f51051a2:ef0711d8:7573eabc /dev/md0
# md-device-map文件是md0设备，版本号为1.2，ID号为390f891c:f51051a2:ef0711d8:7573eabc

当md设备创建完成后，可以开始对其进行格式化了：

[root@localhostmd]# mke2fs -t ext4 /dev/md0

# 注意，格式化时不要对/dev/sdc1和/dev/sdd1进行，而要对/dev/md0进行格式化
mke2fs1.41.12 (17-May-2010)
Filesystemlabel=
OStype: Linux
Blocksize=4096 (log=2)
Fragmentsize=4096 (log=2)
Stride=128blocks, Stripe width=256 blocks
657072inodes, 2626560 blocks
131328blocks (5.00%) reserved for the super user
Firstdata block=0
Maximumfilesystem blocks=2692743168
81block groups
32768blocks per group, 32768 fragments per group
8112inodes per group
Superblockbackups stored on blocks:
        32768, 98304, 163840, 229376, 294912,819200, 884736, 1605632
 
Writinginode tables: done                           
Creatingjournal (32768 blocks): done
Writingsuperblocks and filesystem accounting information: done
 
Thisfilesystem will be automatically checked every 20 mounts or
180days, whichever comes first.  Use tune2fs-c or -i to override.

 

[root@localhostmd]# mount /dev/md0 /backup

# 将/dev/md0挂载到/backup下

[root@localhostmd]# cd /backup

[root@localhostbackup]# ls

lost+found
# 能够查看到lost+found，说明挂载成功了

[root@localhostbackup]# mount

/dev/mapper/VolGroup-lv_rooton / type ext4 (rw)
procon /proc type proc (rw)
sysfson /sys type sysfs (rw)
devptson /dev/pts type devpts (rw,gid=5,mode=620)
tmpfson /dev/shm type tmpfs(rw,rootcontext="system_u:object_r:tmpfs_t:s0")
/dev/sda1on /boot type ext4 (rw)
/dev/sdb3on /mydata type ext4 (rw,noatime)
noneon /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
/dev/md0on /backup type ext4 (rw)
# 使用mount命令可以查看到当前系统已经挂载了/dev/md0了

 

命令mdadm如果使用-D选项，可以监控某个md设备：

[root@localhostbackup]# mdadm -D /dev/md0

/dev/md0:
   Version : 1.2
  Creation Time : Tue Aug 12 18:49:21 2014
      # 创建时间
     Raid Level : raid0
     Array Size : 10506240 (10.02 GiB 10.76 GB)
      # 注意，创建后的大小在给定大小20%左右浮动均为合理
  Raid Devices : 2
  # RADI设备的个数
  Total Devices : 2
  # 总共设备的个数
  Persistence : Superblock is persistent
  # 持久与否
  Update Time : Tue Aug 12 18:49:21 2014
      # 更新时间
          State : clean
  # 数据是否完整
 Active Devices : 2
WorkingDevices : 2
 Failed Devices : 0
  Spare Devices : 0
 
     Chunk Size : 512K
   # chunk大小
           Name : localhost.localdomain:0  (local to host localhost.localdomain)
   # 当前主机的主机名，冒号后面的数字表示第几个设备
           UUID :1c890f39:a25110f5:d81107ef:bcea7375
         Events : 0
 
      Number    Major    Minor   RaidDevice        State
 # 第几号设备  主设备号   次设备号   在RADI阵列中的标号  当前状态（已同步）
       0            8       33       0            active sync   /dev/sdc1
       1            8       49       1            active sync   /dev/sdd1

 

三、主次设备号

一个设备的主设备（major）号用于区分设备类别，比如/dev/sd*这样的设备是同一种类型的设备，故主设备号相同；再比如硬盘盒键盘是两种不同的设备，其主设备号必然不同。

一个设备的次设备（minor）号用于区分同一种类别的设备下不同的具体设备。比如用ls命令查看/dev：

[root@localhostbackup]# ls -l /dev/sd*

brw-rw----.1 root disk 8,  0 Aug 12 18:07 /dev/sda
brw-rw----.1 root disk 8,  1 Aug 12 18:07 /dev/sda1
brw-rw----.1 root disk 8,  2 Aug 12 18:07 /dev/sda2
brw-rw----.1 root disk 8, 16 Aug 12 18:07 /dev/sdb
# 由于fdisk支持的磁盘分区只到15个，故从编号3到15都预留给了第一块磁盘/dev/sda
brw-rw----.1 root disk 8, 19 Aug 12 18:07 /dev/sdb3
brw-rw----.1 root disk 8, 20 Aug 12 18:07 /dev/sdb4
brw-rw----.1 root disk 8, 21 Aug 12 18:07 /dev/sdb5
brw-rw----.1 root disk 8, 22 Aug 12 18:07 /dev/sdb6
# 分区编号23到31都预留给了前一块磁盘/dev/sdb
brw-rw----.1 root disk 8, 32 Aug 12 18:34 /dev/sdc
brw-rw----.1 root disk 8, 33 Aug 12 18:49 /dev/sdc1
brw-rw----.1 root disk 8, 48 Aug 12 18:40 /dev/sdd
brw-rw----.1 root disk 8, 49 Aug 12 18:49 /dev/sdd1
# 可以看到所有/dev/sd*设备的主设备号都是8，但是每一个具体的设备编号都不一样