独立磁盘冗余阵列——RAID
RAID
RAID：独立磁盘冗余阵列（Redundant Arrays of Independent(最早是Inexpensive，后来改成Independent) Disks，RAID）
计算机核心部件：CPU，内存，IO设备
部分硬盘接口格式：
| 硬盘类型 | 英文名称 | 传输速度 | 接口类型 |
|---|---|---|---|
| IDE | Integrated Drive Electronics | 133Mbps | 并行接口 |
| SATA1 | Serial Advanced Technology Attachment1.0 | 300Mbps | 串行接口 |
| SATA2 | 600Mbps | 串行接口 | |
| SATA3 | 6Gbps | 串行接口 | |
| USB3.0 | Universal Serial Bus | 480Mbps | 串行接口 |
| SCSI | small computer system interface | 1Gbps | 并行 |
| SAS |
驱动：将逻辑指令转化为对应设备的控制指令的程序。
将cpu指令转化为各设备可以理解的指令，在转换处有一个控制设备，集成再主板上的叫控制器，独立在主板外的叫适配器；本质上是同一种东西。即控制器(适配器)是连接主板和IO设备(外接IO设备，如磁盘、USB等)中间的桥梁，负责让CPU和IO设备良好通信的介质。
RAID级别
RAID级别仅仅代表磁盘组织方式不同(应用不同场景需求)，没有上下之分。考虑因素：数据传输速度，完整性，可靠性，安全性等。
RAID0：条带技术
所谓条带技术，即RAID0，就是将一各数据分为很多片，通过控制器，存放在不同的磁盘设备上，这样可以大大提高读写速度，缓解IO端口的读写瓶颈问题。但是带来的问题：如果任意一个磁盘损坏，此文件就无法使用，这也大大降低了磁盘存储的可靠性。
RAID1：磁盘镜像技术
磁盘镜像技术，即RAID1，就是在通过控制器向磁盘存储数据时，将一份数据分别存放在不同的磁盘上，每个磁盘存放的数据都是完整的，相同的。这种技术，提高了磁盘存储的可靠性，即是有一个磁盘损坏，也可以从别的磁盘上备份得到；但是缺毫无冗余能力，即读写速度并没有提升(相反，写的速度反而降低)，硬盘利用率只有二分之一。
RAID4：校验码技术
校验码技术，即RAID4，磁盘群提供一个校验码盘，负责记录其他磁盘存储的总和数据，如：在上图，存储数据磁盘上分别存储1、2、2，则在校验码盘存储5(1+2+2)；如果存储数据盘有一个损坏，有能通过校验码盘和其他正常工作的盘，恢复出损坏盘的数据。校验码技术，提升了读写速度，并且有一定的可靠性(坏一块磁盘并不影响数据完整性)。
即便如此，因为恢复数据(有一块盘损坏)时，需要校验码盘和其他盘共同参与，这也提升了IO压力，和损坏风险。同时，校验码盘容易成为整个技术的瓶颈。
RAID5：轮流校验码技术
RAID5和RAID4很相似，差别在于：RAID5的校验码盘不是固定的，即磁盘群内，互为校验码盘，这样就缓解了RAID4暴露出来的问题(固定的校验码盘容易成为整个技术的瓶颈)。
RAID级别示意图
| 级别 | 应用技术 | 允许磁盘损坏程度 | 性能表现 |
|---|---|---|---|
| RAID0 | 条带技术 | 不允许磁盘坏 | 传输速度快(读写性能提升N倍)，可靠性极差(没有冗余(错)能力) |
| RAID1 | 磁盘镜像技术 | 坏一块不影响 | 传输速度慢(写性能下降，读性能提升)，可靠性高(较强的冗余能力) |
| RAID2 | 汉明码技术 | 同0 | 在0的基础上，提升读写数据时的纠错能力 |
| RAID3 | 汉明码技术 | 同1 | 在1的基础上，提升读写数据时的纠错能力 |
| RAID4 | 校验码技术 | 坏一块可修复 | 传输速度快(读写性能提升)，具备冗余能力(不高)，修复危险度高 |
| RAID5 | 轮流校验码技术 | 坏一块可修复 | 同4，避免单一校验硬盘成为瓶颈问题 |
| RAID6 |
RAID组合
RAID01
所谓RAID01就是先进行RAID0(条带化)，在进行RAID1(镜像化)，这样可一提升IO速度，也可以确保可靠性。
但是，如果有一块磁盘损坏，可能整个磁盘体系都需要被调用。
RAID10
所谓RAID10即先进行RAID1(镜像技术)，再进行RAID0(条带技术)，这样可一提升IO速度，也可以确保可靠性。如果有一块磁盘损坏，则不需要调用整个磁盘体系，只需要调用和损坏磁盘互为镜像的磁盘进行数据恢复即可。
RAID50
所谓RAID10即先进行RAID5(镜像技术)，再进行RAID0(条带技术)。此处不再过多解释。
RAID50大大提升对数据的读写能力，同时具备冗余能力。空间利用率为(总盘数-校验盘个数)/总盘数
JBOD技术
JBOD磁盘技术，适合Hadoop。
性能无提升，不具备冗余能力，空间利用率百分之百
RAID盘选取
早期：
IDE
SCSI
如今：
STAT
盘大，价格便宜
SAS
盘小，价格昂贵
硬件RAID
模型1
主机连接有插槽，RAID控制器通过线缆连接到插槽(插槽镶嵌再主机上)，将硬盘插入插槽，组成RAID阵列。
模型2
磁盘阵列放在一个大的磁盘盒子内，通过一个向外接口
主机没有插槽，通过一个外接线缆，将主机RAID控制器和磁盘阵列盒子连接在一起。
软件RAID
内核必须支持软件RAID，LInux内核中有一个模块md：multi disks(多磁盘)
使用md模拟一个raid(逻辑RAID)，/dev/mdx
mdadm
RAID需要在不同磁盘上做，才有意义(突破单个磁盘的IO瓶颈)，实验状态下，使用一块磁盘不同分区来实现(真实环境是毫无意义的，因为磁盘的IO端口依然是传输瓶颈)。
mdadm是个模式化的命令：
创建模式 -C
专用选项：-l(指定级别)；-n(设备个数)；-a(是否自动为其创建设备文件(yes，no))；-c(指定chunk大小，即数据块大小)
-x : 指定空闲盘的个数。留着一个备份盘，如果有一个使用的盘坏掉，备份盘立刻顶上去，保证数据安全。
管理模式
--add(-a) --remove(-r)等
mdadm /dev/mdx --fail /dev/sdxx
mdadm -S(--stop) /dev/mdx
监控模式 -F
增长模式 -G
装配模式 -A
RAID0
将/dev/vdb分为四个分区，并创建其每个分区的系统类型为Linux raid autodetect。
[root@raid ~]# fdisk /dev/vdb Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel Building a new DOS disklabel with disk identifier 0x05300968. Changes will remain in memory only, until you decide to write them. After that, of course, the previous content won't be recoverable. Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite) WARNING: DOS-compatible mode is deprecated. It's strongly recommended to switch off the mode (command 'c') and change display units to sectors (command 'u'). Command (m for help): n Command action e extended p primary partition (1-4) p Partition number (1-4): 1 First cylinder (1-2080, default 1): Using default value 1 Last cylinder, +cylinders or +size{K,M,G} (1-2080, default 2080): +200M Command (m for help): n Command action e extended p primary partition (1-4) p Partition number (1-4): 2 First cylinder (408-2080, default 408): Using default value 408 Last cylinder, +cylinders or +size{K,M,G} (408-2080, default 2080): +200M Command (m for help): n Command action e extended p primary partition (1-4) p Partition number (1-4): 3 First cylinder (815-2080, default 815): Using default value 815 Last cylinder, +cylinders or +size{K,M,G} (815-2080, default 2080): +200M Command (m for help): n Command action e extended p primary partition (1-4) p Selected partition 4 First cylinder (1222-2080, default 1222): Using default value 1222 Last cylinder, +cylinders or +size{K,M,G} (1222-2080, default 2080): Using default value 2080 Command (m for help): t Partition number (1-4): 1 Hex code (type L to list codes): fd Changed system type of partition 1 to fd (Linux raid autodetect) Command (m for help): t Partition number (1-4): 2 Hex code (type L to list codes): fd Changed system type of partition 2 to fd (Linux raid autodetect) Command (m for help): t Partition number (1-4): 3 Hex code (type L to list codes): fd Changed system type of partition 3 to fd (Linux raid autodetect) Command (m for help): t Partition number (1-4): 4 Hex code (type L to list codes): fd Changed system type of partition 4 to fd (Linux raid autodetect) Command (m for help): w
将/dev/vdb1和/dev/vdb4作为磁盘阵列(RAID0模式)。
[root@raid ~]# mdadm -C /dev/md0 -a yes -l 0 -n 2 /dev/vdb{1,4} mdadm: Defaulting to version 1.2 metadata mdadm: array /dev/md0 started. [root@raid ~]# cat /proc/mdstat //查看创建结果 Personalities : [raid0] md0 : active raid0 vdb4[1] vdb1[0]//所有启用的RAID设备 637440 blocks super 1.2 512k chunks //chunk大小为512k unused devices:
在操作系统看来，/dev/md0就是一个块设备，和/dev/sda2没有区别，RAID机制的实现是在物理层面。即块设备可以被操作系统识别后，就需要进行格式化：
[root@raid ~]# mkfs.ext3 /dev/md0 //格式化/dev/md0为ext3格式 mke2fs 1.41.12 (17-May-2010) Filesystem label= OS type: Linux Block size=4096 (log=2) Fragment size=4096 (log=2) Stride=128 blocks, Stripe width=256 blocks 39840 inodes, 159360 blocks 7968 blocks (5.00%) reserved for the super user First data block=0 Maximum filesystem blocks=163577856 5 block groups 32768 blocks per group, 32768 fragments per group 7968 inodes per group Superblock backups stored on blocks: 32768, 98304 Writing inode tables: done Creating journal (4096 blocks): done Writing superblocks and filesystem accounting information: done This filesystem will be automatically checked every 20 mounts or 180 days, whichever comes first. Use tune2fs -c or -i to override.
查看md0文件系统
[root@raid ~]# fdisk -l /dev/md0 Disk /dev/md0: 652 MB, 652738560 bytes 2 heads, 4 sectors/track, 159360 cylinders Units = cylinders of 8 * 512 = 4096 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 524288 bytes / 1048576 bytes Disk identifier: 0x00000000
挂载文件设备
[root@raid ~]# mkdir /fsx [root@raid ~]# mount /dev/md0 /fsx/ [root@raid ~]# cd /fsx/ [root@raid fsx]# ls lost+found
RAID1
前期步骤和创建RAID0基本一样，即创建分区，设备分区系统类型等。然后，创建RAID1：
root@raid fsx]# mdadm -C /dev/md1 -a yes -l 1 -n 2 /dev/vda1 /dev/vda2 mdadm: Note: this array has metadata at the start and may not be suitable as a boot device. If you plan to store '/boot' on this device please ensure that your boot-loader understands md/v1.x metadata, or use --metadata=0.90 Continue creating array? y mdadm: Defaulting to version 1.2 metadata mdadm: array /dev/md1 started.
查看/dev/md1设备块信息
[root@raid fsx]# fdisk -l /dev/md1 Disk /dev/md1: 209 MB, 209846272 bytes//只是一个磁盘的大小，即操作系统看来，md1仅仅是一个磁盘，备份的任务是物理底层完成的 2 heads, 4 sectors/track, 51232 cylinders Units = cylinders of 8 * 512 = 4096 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000
格式化，挂载md1，并写入数据
[root@raid fsx]# mkfs.ext4 /dev/md1 mke2fs 1.41.12 (17-May-2010) warning: 127 blocks unused. Filesystem label= OS type: Linux Block size=1024 (log=0) Fragment size=1024 (log=0) Stride=0 blocks, Stripe width=0 blocks 51400 inodes, 204801 blocks 10246 blocks (5.00%) reserved for the super user First data block=1 Maximum filesystem blocks=67371008 25 block groups 8192 blocks per group, 8192 fragments per group 2056 inodes per group Superblock backups stored on blocks: 8193, 24577, 40961, 57345, 73729 Writing inode tables: done Creating journal (4096 blocks): done Writing superblocks and filesystem accounting information: done This filesystem will be automatically checked every 23 mounts or 180 days, whichever comes first. Use tune2fs -c or -i to override. [root@raid fsx]# mount /dev/md1 /mnt/ [root@raid fsx]# echo "fsx123" > /mnt/fsx [root@raid mnt]# cat fsx fsx123
监控模式下，可以显示RAID设备的详细信息：
[root@raid mnt]# mdadm -D /dev/md1 //-D == --detail /dev/md1: Version : 1.2 //版本 Creation Time : Wed Apr 4 02:34:10 2018 Raid Level : raid1 Array Size : 204928 (200.16 MiB 209.85 MB) //阵列大小 Used Dev Size : 204928 (200.16 MiB 209.85 MB) Raid Devices : 2 Total Devices : 2 Persistence : Superblock is persistent Update Time : Wed Apr 4 02:39:29 2018 State : clean Active Devices : 2 Working Devices : 2 Failed Devices : 0 Spare Devices : 0 Name : raid:1 (local to host raid) UUID : d9cb6898:63c22e52:c3651fed:8650a65c Events : 17 Number Major Minor RaidDevice State 0 252 1 0 active sync /dev/vda1 1 252 2 1 active sync /dev/vda2
管理模式下可以模拟一个磁盘损坏：
[root@raid mnt]# mdadm /dev/md1 -f /dev/vda1 //模拟损坏/dev/md1阵列中的/dev/vda1磁盘 mdadm: set /dev/vda1 faulty in /dev/md1 [root@raid mnt]# ls fsx lost+found //一个磁盘存坏，文件仍然可以读取，RAID1的冗余能力。 [root@raid mnt]# vim fsx [root@raid mnt]# cat fsx fsx123 [root@raid mnt]# mdadm -D /dev/md1 /dev/md1: Version : 1.2 Creation Time : Wed Apr 4 02:34:10 2018 Raid Level : raid1 Array Size : 204928 (200.16 MiB 209.85 MB) Used Dev Size : 204928 (200.16 MiB 209.85 MB) Raid Devices : 2 Total Devices : 2 Persistence : Superblock is persistent Update Time : Wed Apr 4 02:45:27 2018 State : clean, degraded Active Devices : 1 Working Devices : 1 Failed Devices : 1 Spare Devices : 0 Name : raid:1 (local to host raid) UUID : d9cb6898:63c22e52:c3651fed:8650a65c Events : 21 Number Major Minor RaidDevice State 0 0 0 0 removed //查看状态，处与remove 1 252 2 1 active sync /dev/vda2 0 252 1 - faulty /dev/vda1
移除损坏的设备
[root@raid mnt]# mdadm /dev/md1 -r /dev/vda1 //-r == --remove mdadm: hot removed /dev/vda1 from /dev/md1 [root@raid mnt]# mdadm -D /dev/md1 /dev/md1: Version : 1.2 Creation Time : Wed Apr 4 02:34:10 2018 Raid Level : raid1 Array Size : 204928 (200.16 MiB 209.85 MB) Used Dev Size : 204928 (200.16 MiB 209.85 MB) Raid Devices : 2 Total Devices : 1 Persistence : Superblock is persistent Update Time : Wed Apr 4 02:47:40 2018 State : clean, degraded Active Devices : 1 Working Devices : 1 Failed Devices : 0 Spare Devices : 0 Name : raid:1 (local to host raid) UUID : d9cb6898:63c22e52:c3651fed:8650a65c Events : 26 Number Major Minor RaidDevice State 0 0 0 0 removed //被移除 1 252 2 1 active sync /dev/vda2
重新给md1添加一块设备
[root@raid mnt]# mdadm /dev/md1 -a /dev/vda1 //-a == --add mdadm: added /dev/vda1 [root@raid mnt]# mdadm -D /dev/md1 /dev/md1: Version : 1.2 Creation Time : Wed Apr 4 02:34:10 2018 Raid Level : raid1 Array Size : 204928 (200.16 MiB 209.85 MB) Used Dev Size : 204928 (200.16 MiB 209.85 MB) Raid Devices : 2 Total Devices : 2 Persistence : Superblock is persistent Update Time : Wed Apr 4 02:50:01 2018 State : clean, degraded, recovering Active Devices : 1 Working Devices : 2 Failed Devices : 0 Spare Devices : 1 Rebuild Status : 47% complete Name : raid:1 (local to host raid) UUID : d9cb6898:63c22e52:c3651fed:8650a65c Events : 37 Number Major Minor RaidDevice State 2 252 1 0 spare rebuilding /dev/vda1 1 252 2 1 active sync /dev/vda2 [root@raid mnt]# cat /proc/mdstat Personalities : [raid0] [raid1] md1 : active raid1 vda1[2] vda2[1] 204928 blocks super 1.2 [2/2] [UU] md0 : active raid0 vdb4[1] vdb1[0] 637440 blocks super 1.2 512k chunks unused devices:
停止阵列
[root@raid /]# umount /mnt/ //停止前必须先解挂 [root@raid /]# mdadm -S /dev/md1 //-S == --stop mdadm: stopped /dev/md1
重新启动阵列
[root@raid /]# mdadm -A /dev/md1 /dev/vda1 /dev/vda2 mdadm: /dev/md1 has been started with 2 drives. [root@raid /]# mdadm -D /dev/md1 /dev/md1: Version : 1.2 Creation Time : Wed Apr 4 02:34:10 2018 Raid Level : raid1 Array Size : 204928 (200.16 MiB 209.85 MB) Used Dev Size : 204928 (200.16 MiB 209.85 MB) Raid Devices : 2 Total Devices : 2 Persistence : Superblock is persistent Update Time : Wed Apr 4 02:54:19 2018 State : clean Active Devices : 2 Working Devices : 2 Failed Devices : 0 Spare Devices : 0 Name : raid:1 (local to host raid) UUID : d9cb6898:63c22e52:c3651fed:8650a65c Events : 83 Number Major Minor RaidDevice State 2 252 1 0 active sync /dev/vda1 3 252 2 1 active sync /dev/vda2