The Multipath Softwares of EMC/HP/IBM/Veritas

1.其实存储厂商和Microsoft的合作超级亲密，很多东西是直接做在OS的In-box的盘里面，在未发布OS之前，很多和存储相关的东西早已经经过了N次严格的测验！
对于像Linux，存储厂商更是直接就是很多相关项目Sponsor；而其他的OS，操作系统厂商和存储设备商之间也有千丝万缕。
当然，由于OS和存储分开，而且各自有不同的厂商和发行版本；显然就会导致不兼容性问题，其中有技术的原因，也有很多其他因素在里头。2.现在各个厂商实现的所谓的多路径有几种解决方案，按照提供商的不同大致有，存储设备制造商,存储软件提供商和操作系统提供商。

此类软件一般由主机和盘阵厂商提供，都可以实现FailOver：
EMC PowerPath
HDS HDLM
Sun Traffic Manager
IBM SSD MPIO
HP PVlink
Veritas VxVM DMP
其中，肯定可以实现Load Balance的是
EMC Power Path Enterprise
HDS HDLM （Sun HDLM）
Veritas VxVM中的DMP功能这些软件无一例外是作为一个驱动程序嵌入到操作系统中，为自己的存储设备进行了优化，可以比较好地管理他们自己的存储设备。存储软件提供商提供的多路径软件有Veritas的VM/DMP。建立在自己的文件系统下实现的多路径管理。操作系统提供商提供的多路径软件比如IBM AIX MPIO，HP-UX的PVLinks，Solaris的Traffic Manager等等，当然，还有微软的那个咚咚。

操作系统提供商提供的多路径软件存在的最大意义是，能够使一台主机能够同时使用不同厂商的存储设备，因此考虑如何让多个多通路的存储应用在一台主机上同时运行并互相协调工作。

但是这样会有一个问题，就是MPIO这类的软件认出的磁盘和EMC POWERPATH肯定是有冲突的，其实大可不必担心，只要安装相应的磁盘阵列的多路径驱动程序即可使MPIO失效。

例如IBM AIX MPIO，提供了MPIO PPI（PCM 程序接口），该接口允许被称为PCM（通路控制模块）的代码模块通过一套特殊的调用来访问 MPIO 驱动程序，以帮助其他存储设备供应商在 AIX 上构建多通路存储解决方案。PCM 通常是由存储设备供应商提供的，不仅提供了使用存储产品的专用的功能，也支持用户层的多通路应用的 PCM ，为用户提供了多通路的 I/O 管理能力。 如 IBM 的 SDD 。

其实“存储与主机的兼容性问题的本质”不是技术问题，是投入的人力财力问题。
每一个操作系统厂商都提供了大量的软件API方便进行开发，对于大厂商来说，开发一个驱动程序不是问题，但是小厂商就不灵了。

这就是为什么二线三线的存储厂商提供的多路径程序支持的平台比较少的原因。3.VVM与PVlink差别很大，光DMP功能就不是PVLink可以比的。PVLink要人工指定哪两个设备是同一设备的多路径，而VVM的DMP是动态自动识别的。另外VVM的DMP支持很多种产商的磁盘阵列，而不像powerPath只支持symmetrix、HP autoPath只支持HP的磁盘阵列、IBM SDD只支持shark。所以，在多种磁盘阵列环境（或可能）下，VVM会很有用。

还有VVM的DMP只是其中一个功能而已，它主要还是做volume管理的，多种OS下都一样。VVM是个不错的软件，但是它的实现确是一件非常头痛的事情！

首先，实现DMP,需要购买昂贵的vvm软件将客户原有的卷全部格式化为vxvm卷，相当于windows的format!那末你必须先将所有的数据都转移到其他的存储介质内，在完成卷的转化之后，你还必须进行复杂的数据迁移工作，对于数据库来说还要更改设备的名称和配置文件，客户怎能接受？

另外，基于卷的切换原理，使操作系统耗费大量的资源用以检测卷的状态，得不偿失。

还有，VVM与POWERPATH等由存储系统实现的FAILOVER & LOADBALANCE 相比，在性能及可靠性等方面都是相差甚远的，如果在银行的数据中心用VVM的DMP功能，那是自找苦吃。4.如果要做多路径冗余和负载均衡，最好使用DiskArray公司提供的软件。
最主要的原因是，只有DiskArray厂商才有自己控制器的全部API资料，能够设计出很低层和功能强大的软件！如果使用IBM的P系列主机，并且操作系统是AIX5.2的话，可以使用免费的MPIO系统自带软件，不考虑存储系统的品牌。否则最好使用存储厂家的对应产品，如EMC的powerpath或者HDS的HDLM5.微软Storage Server使用了MPIO，这Server里是免费的。6.在HP服务器上OS为REDHAT LINUX AS4.0安装有两个Qlogic的HBA卡，存储是EVA4k，我在linux上安装了qlogic sansurfer软件，也选中了failover，重启后，怎么还是看到4个LUN（双控制器），如果这样我到底应该挂接哪个lun，failover能实现吗？？硬件实现failover的功能无论是在什么厂商的产品上都需要同时在HBA , driver/OS和storage三个地方做配置.Example:A. 配置 EVA4k, failover Path 控制器 A->B (这个不明白的话，你得好好看看eva4k的admin guide了)

B. 在断开存储设备(指断开服务器到光纤FC 交换机的通路)情况下，安装每个服务器的Linux OS. (注意 hp.com linux OS support matrix表格中指定的最低版本要求，比如RHEL4 Update xxxx)

C. 从HP站点下载 HBA的driver. 如果你的HBA是FCA2214,在 driver download 的搜索框就用这个关键字. 应该是一个tar.gz的文件

D. 分别copy到每个节点上，然后连上交换机,在安装HBA驱动之前，你从linux OS用fdisk -l或者cat /proc/scsi下面应该分别从多个path看到eva4k上的vdisk.

E. 分别在每个服务器上tar zxvf 那个包，然后进去后，用 ./INSTALL -f 安装驱动. -f 就是failover 的意思. 这样HBA 的driver会自动把你之前看到的多个path的LUN合并成一个path(也就是自动failover的multipath).

F. 然后分别从每个linux OS里面fdisk -l看，就可以看到map过来的scsi LUN了(vdisk).7.关于在AIX52以上安装HDLM的问题及经验AIX5.2 以上缺省使用了IBM 的MPIO，此驱动不能删除。如果采用删除相关软件的方式删除该软件会删除系统许多基本相关驱动。

如果按通常的方式去安装DLM管理软件，DLM会在系统已经识别出的MPIO设备基础上进行多路管理，此已经无意义。
在这种情况下，需要首先安装DLM软件光盘下的关于AIX_ODM 目录下的驱动，安装方式及补丁参见该目录的PDF文件。然后再安装HDS 的DLM 多路径管理软件，然后再删除AIX 系统识别出的MPIO设备（如hdiskx，可以用lspath 看MPIO设备的相关路径），最后在运行cfgmgr -v 识别出系统hdisk及HDS dlmdrvx 磁盘。

参考文档： http://www-900.ibm.com/cn/support/viewdoc/detail?DocId=1811145C30000 （如何使AIX 中的多路径管理(MPIO)功能失效）8.HP-UX PVLINKS的使用！PV link设计的初衷是为了Failover，并不提供load balance的功能，诚然手工调整/etc/lvmtab的顺序能够达到类似的效果，不过如果PV量非常巨大的话，这个工作就比较繁重了

如果使用软件来达到Failover和Load Balance，可用HP SecurePath, VRTS DMP和EMC的PowerPath等等
环境：两台HP主机，11.23，通过两个通道与SAN交换机相连，加上存储自己的通道，每一块物理盘共可以认到4块盘。通过使用PVLINK功能，可以实现磁盘FAILOVER和两机流量分流的功能。

1.生成设备
ioscan –funC disk

2.生成逻辑盘insf –eC disk
A机会新生成如： C51t0d6 claimed
C53t0d6
C55t0d6
C56t0d6
C51t0d7
C53t0d7
C55t0d7
C56t0d7
相应在B机上也同样生成磁盘
C12t0d6
C14t0d6
C16t0d6
C17t0d6
C12t0d7
C14t0d7
C16t0d7
C17t0d7

3.建立PV：
pvcreate /dev/rdsk/c51t0d6
pvcreate /dev/rdsk/c51t0d7
mkdir /dev/datavg3
mknod /dev/datavg3/group c 64 0x070000

4. 在A机上生成VG，划分LV，并EXPORT MAPFILE，并改成为ORACLE的属性
在B机上IMPORT MAPFILE

Vgcreate –s 128 /dev/datavg3 /dev/dsk/c51t0d6 /dev/dsk/c51t0d7
Vgextend /dev/datavg3 /dev/dsk/c53t0d6 /dev/dsk/c55t0d6 /dev/dsk/c56t0d6
Vgextend /dev/datavg3 /dev/dsk/c53t0d7 /dev/dsk/c55t0d7 /dev/dsk/c56t0d7

lvcreate -n mrdata3_4g_400 -L 4096 /dev/datavg3
.
.
.
lvcreate -n mrdata3_4g_535 -L 4096 /dev/datavg3

在A机上
Vgdisplay –v datavg3
vgchange –a n /dev/datavg3
vgexport –v –p –s –m /tmp/map5 /dev/datavg3
rcp /tmp/map5 B:/tmp/map5
在B上
mkdir /dev/datavg3
mknod /dev/datavg3/group c 64 0x070000
vgimport –v –s –m /tmp/map5 /dev/datavg3
查看 strings /etc/lvmtab

Vgchange –a y /dev/datavg3
Vgdisplay –v datavg3
Vgchange –a n /dev/datavg3

5.改变B机 DISK的顺序

vgreduce /dev/datavg3 /dev/dsk/c12t0d6 同时自动修改lvmtab
vgreduce /dev/datavg3 /dev/dsk/c14t0d6
vgreduce /dev/datavg3 /dev/dsk/c12t0d7
vgreduce /dev/datavg3 /dev/dsk/c14t0d7
vgextend /dev/datavg3 /dev/dsk/c12t0d6同时自动修改lvmtab
vgextend /dev/datavg3 /dev/dsk/c14t0d6
vgextend /dev/datavg3 /dev/dsk/c12t0d7
vgextend /dev/datavg3 /dev/dsk/c14t0d7

vgdisplay –v datavg3查看

这样AB机流量就可以分流了。9.For EVA3k and EVA5k pvlinks are not supported and you can't use it because controllers are working in active/passive mode for LUN. LUN is visible only by one controller and you need SecurePath software to switch to alternate controller (for linux Qlogic driver has failover mechanism build-in).

EVA4k/6k/8k has active/active controllers and there is no need to use SecurePath but you can work with PVLinks look at:
"Operating Systems, Cluster and High Availability Compatibility"http://h18006.www1.hp.com/products/quickspecs/12234_div/12234_div.htmlSince December 2005, the new version of VCS code 4.001 on EVA3000/5000 are now working Active-active like EVA4K/6K/8K. So, PVLINKS are supported with VCS 4.001（http://h20000.www2.hp.com/bizsupport/TechSupport/Document.jsp?objectID=c00586983）

from:http://hi.baidu.com/penguinhe2006/blog/item/870a87cecc86cf0f93457e19.html