Vmware 下Oracle RAC搬家引起CRS-1006/CRS-0215/CRS-0233
最近虚拟机下的Oracle 10g RAC搬家，搬家完毕之后，Oracle 集群resource之VIP无法正常启动，收到了CRS-0233: Resource or relatives are currently involved with another operation 错误提示。为为啥呢，原来啊，搬家了地址发生变化了，你得使用你家里的新地址阿....
1、环境描述
Oracle 10g RAC + Suse 10
注，将RAC虚拟机搬家之后，通常情况下我们在添加虚拟机时选择复制(移动这个没试过，不知道是否会有问题)
其次，由于选择了复制，虚拟机要生成一个新的UUID(UUID是指在一台机器上生成的数字，它保证对在同一虚拟环境中的机器唯一性)。
同时MAC地址以及网络接口名也会发生相应的变化(首次启动虚拟机原来的eth0以及eth1不可用)，通常情况下需要对此修改。
不同的Linux系统对新网络接口有不同的处理方法。Oracle Linux以及RedHat可以直接把原来的删除然后将新的网络接口名重命名为原来的。
对于SuseLinux稍微有点麻烦，可以参考这里: http://blog.csdn.net/robinson_0612/article/details/8131771
2、CRS-1006/CRS-0215/CRS-0233错误
#修改网卡之后，重新启动两个节点
#resource vip 状态为offline
oracle@bo2dbp:~> ./crs_stat.sh |grep bo2dbp
Resource name Target State
-------------- ------ -----
ora.bo2dbp.ASM1.asm ONLINE ONLINE on bo2dbp
ora.bo2dbp.LISTENER_BO2DBP.lsnr ONLINE OFFLINE
ora.bo2dbp.LISTENER_ORA10G_BO2DBP.lsnr ONLINE OFFLINE
ora.bo2dbp.gsd ONLINE ONLINE on bo2dbp
ora.bo2dbp.ons ONLINE OFFLINE
ora.bo2dbp.vip ONLINE OFFLINE
ora.ora10g.db ONLINE ONLINE on bo2dbp
ora.ora10g.ora10g1.inst ONLINE ONLINE on bo2dbp
#尝试手动启动ons
oracle@bo2dbp:~> crs_start ora.bo2dbp.ons
Attempting to start `ora.bo2dbp.ons` on member `bo2dbp`
Start of `ora.bo2dbp.ons` on member `bo2dbp` failed.
CRS-1006: No more members to consider
CRS-0215: Could not start resource 'ora.bo2dbp.ons'.
#通过onsctl方式启动也收到失败信息
oracle@bo2dbp:~> onsctl start
Number of onsconfiguration retrieved, numcfg = 2
onscfg[0]
{node = bo2dbp.2gotrade.com, port = 6200}
Adding remote host bo2dbp.2gotrade.com:6200
onscfg[1]
{node = bo2dbs.2gotrade.com, port = 6200}
Adding remote host bo2dbs.2gotrade.com:6200
Number of onsconfiguration retrieved, numcfg = 2
onscfg[0]
{node = bo2dbp.2gotrade.com, port = 6200}
Adding remote host bo2dbp.2gotrade.com:6200
onscfg[1]
{node = bo2dbs.2gotrade.com, port = 6200}
Adding remote host bo2dbs.2gotrade.com:6200
onsctl: ons failed to start
#尝试手动启动vip，收到了CRS-0233错误
oracle@bo2dbp:~> crs_start ora.bo2dbp.vip
CRS-0233: Resource or relatives are currently involved with another operation.
3、分析故障
#查看节点bo2dbp主机上的ip地址
oracle@bo2dbp:~> ifconfig #当前系统的网络接口名为eth2, eth5
eth2 Link encap:Ethernet HWaddr 00:0C:29:4A:66:28
inet addr:192.168.7.51 Bcast:192.168.7.255 Mask:255.255.255.0
eth5 Link encap:Ethernet HWaddr 00:0C:29:4A:66:32
inet addr:10.10.7.51 Bcast:10.10.7.255 Mask:255.255.255.0
#查看节点bo2dbp上集群网络层的配置，网络接口名与实际的网卡名一致
oracle@bo2dbp:~> oifcfg iflist
eth2 192.168.7.0
eth5 10.10.7.0
oracle@bo2dbp:~> oifcfg getif -global #此处发现网络接口名与实际的网卡名不一致
eth3 192.168.7.0 global public
eth4 10.10.7.0 global cluster_interconnect
#查看节点bo2dbs主机上的ip地址
oracle@bo2dbs:~> ifconfig
eth5 Link encap:Ethernet HWaddr 00:0C:29:27:43:EB
inet addr:10.10.7.52 Bcast:10.10.7.255 Mask:255.255.255.0
eth6 Link encap:Ethernet HWaddr 00:0C:29:27:43:E1
inet addr:192.168.7.52 Bcast:192.168.7.255 Mask:255.255.255.0
#查看节点bo2dbp上集群网络层的配置，网络接口名与实际的网卡名一致
oracle@bo2dbs:~> oifcfg iflist
eth6 192.168.7.0
eth5 10.10.7.0
oracle@bo2dbs:~> oifcfg getif -global #此处同样发现网络接口名与实际的网卡名不一致，应该是原来的网络接口名
eth3 192.168.7.0 global public
eth4 10.10.7.0 global cluster_interconnect
#从上面的情况来看，各个节点的网络接口名不一致，同时网络集群层的配置信息使用了原来的接口名，应当对其更新
#为了统一网络接口名，下面将其使用统一的名字为bond1, bond2
4、解决故障
#将网卡统一重命名，方法参照:http://blog.csdn.net/robinson_0612/article/details/8131771
#下面是重命名后的结果
oracle@bo2dbp:~> oifcfg iflist
bond1 192.168.7.0
bond2 10.10.7.0
oracle@bo2dbs:~> oifcfg iflist
bond1 192.168.7.0
bond2 10.10.7.0
#下面的查询中集群层的public与cluster_interconnect还是之前的配置信息
#应该需要改成一致，此处我们先不改，看看会出现什么错误
oracle@bo2dbp:~> oifcfg getif -global
eth3 192.168.7.0 global public
eth4 10.10.7.0 global cluster_interconnect
oracle@bo2dbs:~> oifcfg getif -global
eth3 192.168.7.0 global public
eth4 10.10.7.0 global cluster_interconnect
#重新启动crs
oracle@bo2dbp:~> sudo -s /u01/oracle/crs/bin/crsctl start crs
root'''s password:
Attempting to start CRS stack
The CRS stack will be started shortly
#下面的查询表明crs后台进程正常
oracle@bo2dbp:~> crsctl check crs
CSS appears healthy
CRS appears healthy
EVM appears healthy
#下面查询的结果还是跟以前一样
oracle@bo2dbp:~> ./crs_stat.sh |grep bo2dbp
Resource name Target State
-------------- ------ -----
ora.bo2dbp.ASM1.asm ONLINE ONLINE on bo2dbp
ora.bo2dbp.LISTENER_BO2DBP.lsnr ONLINE OFFLINE
ora.bo2dbp.LISTENER_ORA10G_BO2DBP.lsnr ONLINE OFFLINE
ora.bo2dbp.gsd ONLINE ONLINE on bo2dbp
ora.bo2dbp.ons ONLINE OFFLINE
ora.bo2dbp.vip ONLINE OFFLINE
ora.ora10g.db ONLINE ONLINE on bo2dbp
ora.ora10g.ora10g1.inst ONLINE ONLINE on bo2dbp
#将所有的资源全部关闭
oracle@bo2dbp:~> crs_stop -all
#使用oifcfg修改集群层网络配置
oracle@bo2dbp:~> oifcfg delif -global
oracle@bo2dbp:~> oifcfg getif -global
oracle@bo2dbp:~> oifcfg setif -global bond1/192.168.7.0:public
oracle@bo2dbp:~> oifcfg setif -global bond2/10.10.7.0:cluster_interconnect
oracle@bo2dbp:~> oifcfg getif -global
bond1 192.168.7.0 global public
bond2 10.10.7.0 global cluster_interconnect
#reboot之后，资源状态还是跟之前一样
#先查看vip日志信息，我们先来解决vip的问题
bo2dbp:/u01/oracle/crs/log/bo2dbp/racg # tail -50 ora.bo2dbp.vip.log
2012-12-28 11:25:13.783: [RACG][2151948784] [16581][2151948784][ora.bo2dbp.vip]:
clsrcexecut: env ORACLE_CONFIG_HOME=/u01/oracle/crs
2012-12-28 11:25:13.783: [RACG][2151948784] [16581][2151948784][ora.bo2dbp.vip]:
clsrcexecut: cmd = /u01/oracle/crs/bin/racgeut -e _USR_ORA_DEBUG=0 54 /u01/oracle/crs/bin/racgvip start bo2dbp
2012-12-28 11:25:13.783: [RACG][2151948784] [16581][2151948784][ora.bo2dbp.vip]: clsrcexecut: rc = 1, time = 3.220s
2012-12-28 11:25:16.979: [RACG][2151948784] [16581][2151948784][ora.bo2dbp.vip]:
clsrcexecut: env ORACLE_CONFIG_HOME=/u01/oracle/crs
2012-12-28 11:25:16.979: [RACG][2151948784] [16581][2151948784][ora.bo2dbp.vip]: clsrcexecut:
cmd = /u01/oracle/crs/bin/racgeut -e _USR_ORA_DEBUG=0 54 /u01/oracle/crs/bin/racgvip check bo2dbp
2012-12-28 11:25:16.979: [RACG][2151948784] [16581][2151948784][ora.bo2dbp.vip]: clsrcexecut: rc = 1, time = 3.190s
2012-12-28 11:25:16.979: [RACG][2151948784] [16581][2151948784][ora.bo2dbp.vip]: end for resource =
ora.bo2dbp.vip, action = start, status = 1, time = 6.430s
2012-12-28 11:25:23.807: [RACG][695611888] [17488][695611888][ora.bo2dbp.vip]: eth3: error
fetching interface information: Device not found #此处提示eth3没有找到，我们希望使用的是bond1
checkIf: interface eth3 is down
Invalid parameters, or failed to bring up VIP (host=bo2dbp)
2012-12-28 11:25:23.807: [RACG][695611888] [17488][695611888][ora.bo2dbp.vip]:
clsrcexecut: env ORACLE_CONFIG_HOME=/u01/oracle/crs
2012-12-28 11:25:23.807: [RACG][695611888] [17488][695611888][ora.bo2dbp.vip]: clsrcexecut:
cmd = /u01/oracle/crs/bin/racgeut -e _USR_ORA_DEBUG=0 54 /u01/oracle/crs/bin/racgvip start bo2dbp
2012-12-28 11:25:23.807: [RACG][695611888] [17488][695611888][ora.bo2dbp.vip]: clsrcexecut:
rc = 1, time = 3.220s
2012-12-28 11:25:27.018: [RACG][695611888] [17488][695611888][ora.bo2dbp.vip]: clsrcexecut:
env ORACLE_CONFIG_HOME=/u01/oracle/crs
2012-12-28 11:25:27.018: [RACG][695611888] [17488][695611888][ora.bo2dbp.vip]: clsrcexecut:
cmd = /u01/oracle/crs/bin/racgeut -e _USR_ORA_DEBUG=0 54 /u01/oracle/crs/bin/racgvip check bo2dbp
2012-12-28 11:25:27.018: [RACG][695611888] [17488][695611888][ora.bo2dbp.vip]: clsrcexecut: rc = 1, time = 3.210s
2012-12-28 11:25:27.018: [RACG][695611888] [17488][695611888][ora.bo2dbp.vip]: end for resource =
ora.bo2dbp.vip, action = start, status = 1, time = 6.450s
2012-12-28 11:25:33.822: [RACG][3600347632] [18308][3600347632][ora.bo2dbp.vip]: eth3: error
fetching interface information: Device not found #再次出现eth3没有找到的错误提示
checkIf: interface eth3 is down
Invalid parameters, or failed to bring up VIP (host=bo2dbp)
2012-12-28 11:25:33.822: [RACG][3600347632] [18308][3600347632][ora.bo2dbp.vip]: clsrcexecut:
env ORACLE_CONFIG_HOME=/u01/oracle/crs
2012-12-28 11:25:33.822: [RACG][3600347632] [18308][3600347632][ora.bo2dbp.vip]: clsrcexecut:
cmd = /u01/oracle/crs/bin/racgeut -e _USR_ORA_DEBUG=0 54 /u01/oracle/crs/bin/racgvip start bo2dbp
2012-12-28 11:25:33.822: [RACG][3600347632] [18308][3600347632][ora.bo2dbp.vip]: clsrcexecut: rc = 1, time = 3.210s
2012-12-28 11:25:37.063: [RACG][3600347632] [18308][3600347632][ora.bo2dbp.vip]: clsrcexecut:
env ORACLE_CONFIG_HOME=/u01/oracle/crs
2012-12-28 11:25:37.063: [RACG][3600347632] [18308][3600347632][ora.bo2dbp.vip]: clsrcexecut:
cmd = /u01/oracle/crs/bin/racgeut -e _USR_ORA_DEBUG=0 54 /u01/oracle/crs/bin/racgvip check bo2dbp
2012-12-28 11:25:37.063: [RACG][3600347632] [18308][3600347632][ora.bo2dbp.vip]: clsrcexecut: rc = 1, time = 3.240s
2012-12-28 11:25:37.063: [RACG][3600347632] [18308][3600347632][ora.bo2dbp.vip]: end for resource =
ora.bo2dbp.vip, action = start, status = 1, time = 6.490s
#从上面的日志可知还是那个网络接口名的问题
#也可以看出action = start, status = 1, time = 6.490s 这个地方应该是Target为Online，而实际上State为offline
#网络接口层也改了，那就是这个eth3还在OCR中没有被更新，接下来尝试更新
bo2dbp:/u01/oracle/crs/bin # ./srvctl modify nodeapps -n bo2dbp -A 192.168.7.61/255.255.255.0/bond1
#对第二个节点上也采用相同的方式来更新
bo2dbs:~ # /u01/oracle/crs/bin/srvctl modify nodeapps -n bo2dbs -A 192.168.7.62/255.255.255.0/bond1
#此时成功启动vip
oracle@bo2dbp:~> crs_start ora.bo2dbp.vip
Attempting to start `ora.bo2dbp.vip` on member `bo2dbp`
Start of `ora.bo2dbp.vip` on member `bo2dbp` succeeded.
#接下来查看ons的日志信息
oracle@bo2dbp:/u01/oracle/crs/log/bo2dbp/racg> tail -20 ora.bo2dbp.ons.log
............
onscfg[0]
{node = bo2dbp.2gotrade.com, port = 6200}
Adding remote host bo2dbp.2gotrade.com:6200
onscfg[1]
{node = bo2dbs.2gotrade.com, port = 6200}
Adding remote host bo2dbs.2gotrade.com:6200
ons is n
2012-12-28 11:00:49.345: [ RACG][2554102256] [19071][2554102256][ora.bo2dbp.ons]: ot running ...
2012-12-28 11:00:49.345: [ RACG][2554102256] [19071][2554102256][ora.bo2dbp.ons]:
clsrcexecut: env ORACLE_CONFIG_HOME=/u01/oracle/crs
2012-12-28 11:00:49.345: [ RACG][2554102256] [19071][2554102256][ora.bo2dbp.ons]: clsrcexecut:
cmd = /u01/oracle/crs/bin/racgeut -e _USR_ORA_DEBUG=0 540 /u01/oracle/crs/bin/onsctl ping
2012-12-28 11:00:49.345: [ RACG][2554102256] [19071][2554102256][ora.bo2dbp.ons]: clsrcexecut: rc = 1, time = 0.210s
2012-12-28 11:00:49.346: [ RACG][2554102256] [19071][2554102256][ora.bo2dbp.ons]: end
for resource = ora.bo2dbp.ons, action = start, status = 1, time = 7.560s
2012-12-28 11:00:55.661: [ RACG][368746992] [19812][368746992][ora.bo2dbp.ons]: onsctl: shutting down ons daemon ...
CONNECT: Connection refused
Number of onsconfiguration retrieved, numcfg = 2
onscfg[0]
{node = bo2dbp.2gotrade.com, port = 6200}
Adding remote host bo2dbp.2gotrade.com:6200
onscfg[1]
{node = bo2dbs.2gotrade.com,
2012-12-28 11:00:55.661: [ RACG][368746992] [19812][368746992][ora.bo2dbp.ons]: port = 6200}
...............
#关于ons的这个错误，记得之前有类似的情形，之前是在安装的时候碰到的，是由于没有本地回环造成的。
#这个问题再次出现了，由于从原来的配置复制/etc/hosts时不小心那个地方被注释掉了，汗......
#具体参考 http://blog.csdn.net/robinson_0612/article/details/6303583
#尝试启动ons成功
oracle@bo2dbp:~> crs_start ora.bo2dbp.ons
Attempting to start `ora.bo2dbp.ons` on member `bo2dbp`
Start of `ora.bo2dbp.ons` on member `bo2dbp` succeeded.
#Author : Robinson
#Blog : http://blog.csdn.net/robinson_0612
5、小结
a、对于RAC环境下虚拟机的迁移之后，首选需要更改各个虚拟机配置文件中所有磁盘的路径(local disk,asmdisk,ocr,votingdisk)
b、添加虚拟机方式使用了复制方式(移动方式不确定)后将导致网卡发生变化，主要是保证MAC地址唯一
c、需要对网络重新进行配置，如果希望使用原来的网络接口名，则重命名或命令行下修改相关配置文件使得保留原有网卡名
d、如果使用了X window方式修改网络配置，应注意hosts文件是否发生相应的修改
e、如果使用了新的网络接口名或者新的IP地址，应该重新配置集群网络层
f、同时也需要将新网络接口名或者新的IP地址更新的OCR
g、最后一句，从日志来分析与解决问题是源头，是快速定位问题的最佳途径
更多参考
有关Oracle RAC请参考
使用crs_setperm修改RAC资源的所有者及权限
使用crs_profile管理RAC资源配置文件
RAC 数据库的启动与关闭
再说 Oracle RAC services
Services in Oracle Database 10g
Migrate datbase from single instance to Oracle RAC
Oracle RAC 连接到指定实例
Oracle RAC 负载均衡测试(结合服务器端与客户端)
Oracle RAC 服务器端连接负载均衡(Load Balance)
Oracle RAC 客户端连接负载均衡(Load Balance)
ORACLE RAC 下非缺省端口监听配置(listener.ora tnsnames.ora)
ORACLE RAC 监听配置 (listener.ora tnsnames.ora)
配置 RAC 负载均衡与故障转移
CRS-1006 , CRS-0215 故障一例
基于Linux (RHEL 5.5) 安装Oracle 10g RAC
使用 runcluvfy 校验Oracle RAC安装环境
有关Oracle 网络配置相关基础以及概念性的问题请参考：
配置非默认端口的动态服务注册
配置sqlnet.ora限制IP访问Oracle
Oracle 监听器日志配置与管理
设置 Oracle 监听器密码(LISTENER)
配置ORACLE 客户端连接到数据库
有关基于用户管理的备份和备份恢复的概念请参考
Oracle 冷备份
Oracle 热备份
Oracle 备份恢复概念
Oracle 实例恢复
Oracle 基于用户管理恢复的处理
SYSTEM 表空间管理及备份恢复
SYSAUX表空间管理及恢复
Oracle 基于备份控制文件的恢复(unsing backup controlfile)
有关RMAN的备份恢复与管理请参考
RMAN 概述及其体系结构
RMAN 配置、监控与管理
RMAN 备份详解
RMAN 还原与恢复
RMAN catalog 的创建和使用
基于catalog 创建RMAN存储脚本
基于catalog 的RMAN 备份与恢复
RMAN 备份路径困惑
使用RMAN实现异机备份恢复(WIN平台)
使用RMAN迁移文件系统数据库到ASM
linux 下RMAN备份shell脚本
使用RMAN迁移数据库到异机
有关ORACLE体系结构请参考
Oracle 表空间与数据文件
Oracle 密码文件
Oracle 参数文件
Oracle 联机重做日志文件(ONLINE LOG FILE)
Oracle 控制文件(CONTROLFILE)
Oracle 归档日志
Oracle 回滚(ROLLBACK)和撤销(UNDO)
Oracle 数据库实例启动关闭过程
Oracle 10g SGA 的自动化管理
Oracle 实例和Oracle数据库(Oracle体系结构)