HACMP下安装RAC你一定要知道的

[HACMP] HACMP下安装RAC你一定要知道的

曾经碰到这样的问题： 环境：AIX5.3+HACMP5.3+ORACLE10G+EMC阵列； 1.stop HACMP后，ORACLE能够正常shutdown，但是用lsvg -o可以发现某个节点的并发卷组并没有VARYOFF,手动VARYOFF该VG失败；于是尝试varyon，却又提示 “0516-034 varyonvg: Failed to open VG special file. Probable cause is the VG was forced offline. Execute thevaryoffvg and varyonvg commands to bring the VG online.” 尝试两次之后，可以完成varyon\varyoff的操作。 2.start hacmp，只有一个节点的实例能起来，另外一个节点的PV没有CONCURRENT ACTIVE 3.执行varyonvg，可以完成;但是lsvg -p datavg后发现有个2个LUN的状态是pvmissing，多次尝试均如此；因为是阵列，而且其中一个节点能够正常读取，所以这2个LUN并没有物理损坏。 4.EXPORT\IMPORT VG，同步HA，故障依旧 解决办法： 忽然想起，RAC环境中，需要修改PV的reserve_lock（reserve_policy）的属性.......该不是这个问题吧? lsattr -El hdiskpowerX，果然发现reserve_lock=yes，于是马上关闭HACMP,然后分别在2个节点上执行： chdev -l powerhdiskX -a reserve_lock=no 启动HACMP...... netstat -in IP起来了 lsvg -o vg也已经CONCURRENT ACTIVE ps -ef |Grep oracle已经看到很多进程在RUNNING 类似的情况碰到两三次了，都是因为安装ORACLE的家伙没仔细看ORACLE的官方文档，从网上DOWN一个STEP BY STEP的文档就干活，害人不浅。 我曾经检查过不少RAC，发现将近一半并有按照RELEASE NOTES来修改PV属性，运气好的话两三年不出问题，基本不出问题； 但运气不好的话HA一关闭启动很可能就会碰以上问题。 其实在HACMP+RAC环境中，PV的这个属性reserve_lock(reserve_policy)必须为否，以提供多节点的并发访问； ORACLE的RELEASE NOTES上有提到； 可惜很多工程师并没留意到，杯具啊 ====================================================== To enable simultaneous access to a disk device from multiple nodes, you must set the appropriate Object Data Manager (ODM) attribute listed in the following table to the value shown, depending on the disk type: Disk Type Attribute Value SSA, FAStT, or non-MPIO-capable disks reserve_lock no ESS, EMC, HDS, CLARiiON, or MPIO-capable disks reserve_policy no_reserve To determine whether the attribute has the correct value, enter a command similar to the following on all cluster nodes for each disk device that you want to use: # /usr/sbin/lsattr -E -l hdiskn If the required attribute is not set to the correct value on any node, then enter a command similar to one of the following on that node: ■ SSA and FAStT devices # /usr/sbin/chdev -l hdiskn -a reserve_lock=no ■ ESS, EMC, HDS, CLARiiON, and MPIO-capable devices # /usr/sbin/chdev -l hdiskn -a reserve_policy=no_reserve =====================================================