本文详细介绍如何利用Linux自带的Devicemapper multipathing (DM-Multipath)功能模拟多路径聚合。
当服务器可以通过多条路径访问LUN时,Linux系统会为每条路径创建一个SCSI设备，这就意味着，如果服务器有两条路径访问LUN时，这个LUN在服务器上可能会映射成/dev/sdd和 /dev/sdf两个设备。
为了解决这个问题，DM-Multipath会聚合所有路径，在/dev/mapper/ 为这个LUN下创建一个设备.例如,/dev/mapper/360a9800043346852563444717a513571就是聚合/dev/sddand /dev/sdf产生的多路径设备。
使用DM-Multipath后, 应该使用/dev/mapper/下的设备来创建文件系统，然后再挂载。
一、实验环境
1.网络拓扑
2.服务器环境
(1)测试服务器的环境
u一台Centos6.4服务器作为客户端，用于挂载iSCSI存储
u为了模拟多路径的环境，服务器配置了两块网卡，分别接在VMnet9和VMnet10上
u网络配置如下
eth0：192.168.137.100/24
eth1：172.16.1.2/24
(2)Openfiler iSCSI服务器环境
u增加一块30G的虚拟硬盘，模拟磁盘阵列
u增加一块网卡，模拟阵列的第二个控制器，两块网卡分别接在VMnet9和VMnet10上
u网络配置如下
eth0：192.168.137.50/255.255.255.0
eth1：172.16.1.1/255.255.255.0
二、配置测试服务器
服务器安装Centos 6.4的过程略过
1.配置测试服务器网络参数
(1)关闭NetworkManager
[root@linux ~]#service NetworkManager stop [root@linux ~]#chkconfig NetworkManager off
(2)关闭防火墙
[root@linux ~]# iptables –F [root@linux ~]#chkconfig iptables off
(3)关闭Selinux
[root@linux ~]# vi /etc/selinux/config
将文件中的：SELINUX=enforcing
改为：SELINUX= disabled
存盘退出。
(4)添加网卡
将虚拟机关闭后，添加一块网卡，绑定到VMnet10，如下图所示
点击“确定”，然后重启服务器。执行如下命令：
[root@ linux ~]#ifconfig –a
可见，系统已经识别到两块网卡。
进入/etc/sysconfig/network-scripts/目录：
[root@linux~]# cd /etc/sysconfig/network-scripts [root@linux ~]# ls
如下图所示：
除了第一块网卡，并没有其他网卡的配置文件，需要手工创建：
[root@linux ~]# cd/etc/sysconfig/network-scripts [root@linux network-scripts]#cp ifcfg-eth0 ifcfg-eth1
修改新创建的配置文件中的IP地址、MAC地址和UUID以及其他网络参数
那么如何获得eth1的MAC地址和UUID呢？
[root@linux network-scripts]# ifconfig eth1
从中可以得到MAC地址，另外执行下面命令，可以新生成一个UUID
[root@linux network-scripts] uuidgen 4d487f45-4d27-4663-a93f-71903608a8bd
开始编辑ifcfg-eth1文件
[root@rac-1 network-scripts]# vi ifcfg-eth1
修改后的结果如下所示：
存盘退出后，重启网路服务
[root@rac-1 network-scripts]# service network restart
再此查看网卡信息：
可见两块网卡工作都正常。
2.安装所需的软件
(1)安装iSCSI探测器
[root@linux~]# yum -y install iscsi-initiator-utils
(2)安装multipath软件包：
[root@linux ~]#yum -y installdevice-mapper [root@linux ~]# yum -y install device-mapper-multipath
(3)启动mutipath服务
[root@linux ~]# servicemultipathd start Starting multipathd daemon:[OK] [root@linux ~]# chkconfigmultipathd on
二、配置OpenFiler服务器
1.安装Openfiler服务器
Openfiler软件可以从http://www.openfiler.com/community/download下载，它是一个包含linux系统的安装光盘，最新版本是2.99。在VM9中创建新虚拟机，具体过程省略
2.添加iSCSI磁盘
首先将openfiler服务器关机，然后编辑stor属性，如下图所示：
单击“Add”，弹出窗口如下图所示：
选择“Hard Disk”，然后单击“Next”，如下图所示：
选择“Create a new virtual disk” 然后单击“Next”，如下图所示：
在“Virtual disk type”中选择“SCSI（Recommanded）”，
在Mode中选择“Independent”以及“Persistent”
然后单击“Next”，如下图所示：
磁盘大小设为30G，勾选“All all disk space now”，并选择“Storevirtual disk as a single file”， 然后单击“Next”，如下图所示：
单击“Finish”完成磁盘添加工作
3.配置Openfiler服务器
在宿主机的浏览器中输入：
https://192.168.137.50:446
即可访问并配置Openfile，如下图所示：
(1)配置允许访问的网络
单击菜单“system”，在Network Access Configuration中输入下面内容：
Name：SAN1
Network/Host：192.168.137.0
Netmask:255.255.255.0
Type:share
上面的配置允许192.168.137.0网段的服务器可以访问iSCSI
然后单击“Update”保存修改。
(2)配置物理磁盘
可以理解成把物理硬盘格式化
单击菜单中的“Volumn”，进入原始设备配置界面，如下图所示：
单击图片下方中的链接“create new physical volumes.”，如下图所示：
可以看出，/dev/sda是opefiler服务器的系统盘，/dev/sdb是我们计划用来为RAC服务的iSCSI磁盘。
单击“/dev/sdb”链接，如下图所示：
单击“Create”，创建iSCSI磁盘，如下图所示：
到此，原始设备的配置完成，下面开始为iSCSI配置卷组
(3)配置iSCSI卷组
卷组的作用是把几个物理硬盘组合成一个逻辑大硬盘。
单击右侧菜单中的“VolumnGroup”，如下图所示
在“Volumn groupname”中输入：rac-shared-disk
并勾选“/dev/sdb”
然后单击“Add VolumnGroup”,创建完成后，结果如下所示：
(4)配置iSCSI逻辑卷
上一步创建了逻辑硬盘后，对这个硬盘进行分区，就是我们所说的创建逻辑卷
Openfiler对磁盘的管理与Linux的LVM概念类似，在卷组上还需要创建一个或多个逻辑卷，系统才能使用。
单击右侧菜单中的“AddVolumn”，如下图所示：
在”Volume Name”中输入：ocrvdisk1
在“Volumn Space”中输入：5000
“FileSystem/VolumnType”选择:：Block（iSCSI、FC）
然后单击“Create”，创建一个逻辑卷。如下图所示：
重复上面的步骤，继续增加下面的逻辑卷：
名字：ocrvdisk2大小：14000M，类型：Block（iSCSI、FC）
注意不要将所有磁盘空间用完，最好保留一点。
创建完成后，单击右侧菜单中的”ManagerVolumn“可以查看所有逻辑卷，如下图所示：
(5)创建iSCSI Target
逻辑卷创建后，数据库服务器是无法直接将逻辑卷挂载到本地，需要通过iSCSI探测器探测Openfiler服务器上的iSCSI Target设备后，才能挂载。
注意：每个逻辑卷都需要创建一个iSCSI Target
下面开始创建iSCSITarget。
在openfiler的菜单上，单击”Services“，如下图所示：
目前iSCSI Target状态是未启动，系统引导时不自动启动。
单击iSCSI Target的”Enable“和”start“，启动iSCSITarget服务，同时设置为引导时自动启动。
然后单击菜单中的”Volumn“，在右侧选择”iSCSI Target“，如下图所示
为了便于识别，我喜欢用更具含义的字串来替换这个默认目标 IQN 最后一段。对于第一个 iSCSI 目标（ocrvdisk1），我将这样来修改默认的目标 IQN：将字符串“tsn.ddd42559ac4f”替换为“ocrvdisk1”，然后单击”Add“，添加一个iSCSI Target，如下图所示：
增加iSCSI Target后的界面如下所示
(6)磁盘映射到iSCSI Target
需要将9.3.4中创建的逻辑磁盘ocrvdisk1映射到iSCSI Target上。
单击上图中的”LUNMapping“，然后点击ocrvdisk逻辑盘后面的”Map“按钮
单击“Network ACL“，如下图所示
修改“Access“的值为”Allow“，然后单击“Update”
重复上面的步骤，继续创建另一个iSCSITarget，并将剩下的逻辑磁盘映射到iSCSI Target上。并将Target的Network ACL都设为Allow
至此完成了iSCSI的搭建工作。
三、挂载iSCSI存储
(1)查看iSCSI存储
在测试服务器上，执行下面命令探测Openfiler服务器的iSCSI Target
[root@linux init.d]# iscsiadm -m discovery-t sendtargets -p 192.168.137.50:3260
返回如下内容：
192.168.137.50:3260,1 iqn.2006-01.com.openfiler:ocrvdisk2
172.16.1.1:3260,1 iqn.2006-01.com.openfiler:ocrvdisk2
192.168.137.50:3260,1 iqn.2006-01.com.openfiler:ocrvdisk1
172.16.1.1:3260,1 iqn.2006-01.com.openfiler:ocrvdisk1
表明iSCSI客户端已经正确识别到共享存储，
在openfiler存储上配置的是两个盘，但是这里却显示了4块硬盘，这是有多路径造成的。
(2)挂载iSCSI磁盘
根据上面探测的结果，执行下面命令，挂载共享磁盘：
[root@linux ~]# iscsiadm -m node -T iqn.2006-01.com.openfiler:ocrvdisk1 -p192.168.137.50 -l
iqn.2006-01.com.openfiler:ocrvdisk1是步骤1探测iscsi target返回的结果
返回信息如下：
Loggingin to [iface: default, target: iqn.2006-01.com.openfiler:ocrvdisk1, portal:192.168.137.50,3260] (multiple) Login to[iface: default, target: iqn.2006-01.com.openfiler:ocrvdisk1, portal:192.168.137.50,3260] successful.
显示挂载成功
重复上面的步骤，将第二块共享磁盘都挂载到本地。
(3)查看挂载的iSCSI磁盘
[root@linux ~]#lsblk NAMEMAJ:MIN RMSIZE RO TYPE MOUNTPOINT sr011:014.1G0 rom sda8:0040G0 disk ?..sda18:10200M0 part /boot ?..sda28:205.9G0 part [SWAP] ?..sda38:305.9G0 part /tmp ?..sda48:401K0 part ?..sda58:50 28.1G0 part / sdc8:3204.9G0 disk sdb8:1604.9G0 disk sdd8:480 13.7G0 disk sde8:640 13.7G0 disk
可以看出有四块磁盘被挂载到服务器上
四、配置multipath
(1)启动multipath
加载multipath模块：
[root@linux ~]#modprobedm-multipath
启动multipath服务
[root@linux ~]#servicemultipathd start [root@linux ~]#chkconfigmultipathd on
(2)查看磁盘的SCSI_ID
本地磁盘的SCSI_ID
[root@linux ~]#scsi_id-gud /dev/sda 36000c291dbf53ab43ebd016f89a85989
在三.3中看到有四个设备 /dev/sdb、/dev/sdc、/dev/sdd、/dev/sde，查看他们的SCSI_ID：
[root@linuxdev]# scsi_id -gud /dev/sdb 14f504e46494c45524b46564346362d6b416e422d654b3154 [root@linuxdev]# scsi_id -gud /dev/sdc 14f504e46494c45524b46564346362d6b416e422d654b3154 [root@linuxdev]# scsi_id -gud /dev/sdd 14f504e46494c45526142456132662d396b6c792d55493975 [root@linuxdev]# scsi_id -gud /dev/sde 14f504e46494c45526142456132662d396b6c792d55493975
可见/dev/sdb和sdc的ID号一致，说明他们其实是一个LUN。sdd和sde的ID一致。
(3)配置文件的目录
DM-Multipath的配置文件是 /etc/multipath.conf。
如果/etc/multipath.conf 不存在,默认是所有设备都不会被聚合。
在目录/usr/share/doc/device-mapper-multipath-0.4.9/ 下有一个简单的multipath.conf示例文件，可以拷贝到/etc下编辑使用
如果/etc/multipath.conf文件不存在，可以使用以下命令创建multipath.conf文件:
mpathconf--enable
(4)配置参数
#建议user_friendly_names设为no。如果设定为 no，即指定该系统应使用WWID 作为该多路径的别名。如果将其设为 yes，系统使用文件 #/etc/multipath/mpathn 作为别名。
#当将 user_friendly_names 配置选项设为 yes 时，该多路径设备的名称对于一个节点来说是唯一的，但不保证对使用多路径设备的所有节点都一致。也就是说，
在节点一上的mpath1和节点二上的mpath1可能不是同一个LUN，但是各个服务器上看到的相同LUN的WWID都是一样的，所以不建议设为yes，而是设为#no，用WWID作为别名。
defaults {
user_friendly_names no
path_grouping_policy failover
}
#先将所有的设备列入到blacklist中，也就是说先使得所有设备不能聚合
blacklist {
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^(hd|xvd|vd)[a-z]*"
wwid "*"
}
# 将想要聚合的设备列入blacklist_exceptions.
blacklist_exceptions{
wwid "14f504e46494c45526142456132662d396b6c792d55493975"
wwid "14f504e46494c45524b46564346362d6b416e422d654b3154"
}
multipaths{
multipath {
wwid"14f504e46494c45526142456132662d396b6c792d55493975"
alias cvdisk2
# 由于是通过wwid来设置别名，所以在多节点情况下，各个节点的别名能够保持一致.
}
multipath {
wwid"14f504e46494c45524b46564346362d6b416e422d654b3154"
alias cvdisk1
}
}
配置完成后，重启服务。
[root@linux~]#service multipathd restart
(5)查看multipath工作模式
[root@linuxetc]# multipath -ll cvdisk2(14f504e46494c45526142456132662d396b6c792d55493975) dm-1 OPNFILER,VIRTUAL-DISK size=14G features='0' hwhandler='0' wp=rw |-+- policy='round-robin 0' prio=1 status=active | `- 6:0:0:0 sdd 8:48 active ready running `-+- policy='round-robin 0' prio=1 status=enabled `- 5:0:0:0 sde8:64 active ready running cvdisk1(14f504e46494c45524b46564346362d6b416e422d654b3154) dm-0 OPNFILER,VIRTUAL-DISK size=4.9G features='0' hwhandler='0' wp=rw |-+- policy='round-robin 0' prio=1 status=active | `- 3:0:0:0 sdb 8:16 active ready running `-+- policy='round-robin 0' prio=1 status=enabled `- 4:0:0:0 sdc8:32 active ready running
从上可以看出每个LUN的两条路径，一个是ACTIVE，一个是ENABLED，表明此时multipath工作模式是主/备
将配置文件中的path_grouping_policyfailover改成
path_grouping_policymultibus
然后重启服务，再次观察，结果如下
[root@linuxetc]# multipath -ll cvdisk2 (14f504e46494c45526142456132662d396b6c792d55493975)dm-1 OPNFILER,VIRTUAL-DISK size=14G features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=1 status=active |- 6:0:0:0 sdd8:48 active ready running `- 5:0:0:0 sde8:64 active ready running cvdisk1(14f504e46494c45524b46564346362d6b416e422d654b3154) dm-0 OPNFILER,VIRTUAL-DISK size=4.9G features='0' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=1 status=active |- 3:0:0:0 sdb8:16 active ready running `- 4:0:0:0 sdc8:32 active ready running
从上可以看出每个LUN的两条路径都是ACTIVE，表明此时multipath工作模式是主/主
(6)查看multipath设备别名工作模式
[root@linuxetc]# .cd /dev [root@linuxdev]# cd mapper [root@linuxmapper]# ls controlcvdisk1cvdisk2
从上可见，在/dev/mapper中两个设备的名字是配置文件中设置的别名。
将配置文件中的aliascvdisk1、alias cvdisk2注释掉。
重启服务，再次观察：
[root@linuxmapper]# ls 14f504e46494c45524b46564346362d6b416e422d654b3154control 14f504e46494c45526142456132662d396b6c792d55493975
此时设备名称变成了WWID名称。
(7)挂载multipath设备
格式化多路径设备
fdisk /dev/mapper/cvdisk1 fdisk /dev/mapper/cvdisk2
创建文件系统
mkfs.ext4 /dev/mapper/cvdisk1 mkfs.ext4 /dev/mapper/cvdisk2
挂载
[root@linux /]# cd /mnt [root@linux /]# mkdir cvdisk1 [root@linux /]# mkdir cvdisk2 mount /dev/mapper/cvdisk1p1 ./cvdisk1 mount /dev/mapper/cvdisk2p1 ./cvdisk2
(8)multipath常用命令
multipath -v3 -d-ll
multipath -ll
卸载所有的LUN文件系统
清除DM-Multipathdevices ： multipath -F
停止服务：servicemultipathd stop
五、挂载文件系统
格式化设备
fdisk /dev/mapper/ cvdisk1
分区后在/dev/mapper下会生成一个新的设备cvdisk1p1
创建文件系统
mkfs.ext4 /dev/mapper/ cvdisk1p1
挂载设备
mount /dev/mapper/ cvdisk1p1 /u01
最后把挂载信息写入/etc/fstab，系统启动后自动挂载：
/dev/mapper/cvdisk1p1/u01ext4defaults0 0
执行df –h 查看磁盘信息
六、multipath测试
1.负载均衡测试
使用dd命令来对设备进行写操作，并同时通过iostat来查看I／0状态，命令及输出如下：
# dd if=/dev/zero of=/dev/mapper/cvdisk1
开启另外一个终端用以下命令查看IO情况
# iostat 1
通过上述输出，我们看到，在对/dev/mapper/cvdisk1读写时，实际上是通过对/dev/dm-1包含的当前active的所有设备，即/dev/sdd1,/dev/sde这2条路径来完成对实际的LUN的写过程。
2.冗余测试
将服务器的一个网卡禁用，再继续上述测试过程：
此时看到有一个链路断开，处于faulty状态。
执行：
# ddif=/dev/zero of=/dev/mapper/cvdisk1
开启另外一个终端用以下命令查看IO情况，大约2分钟后，可以看到sde在工作
将网卡恢复后，几秒钟恢复正常