记一次莫名其妙的Oracle RAC启动失败

环境：Oracle 11g R2

节点：c1、c2

共享设备：SAN+ASM

 

现象：

c2启动完全正常，c1启动出现：

ORA-01078: failure in processing system parameters

ORA-01565: error in identifying file '+ASM/orcl/spfileorcl.ora'

ORA-17503: ksfdopn:2 Failed to open file +ASM/orcl/spfileorcl.ora

ORA-15056: additional error message

ORA-17503: ksfdopn:DGOpenFile05 Failed to open file +ASM/orcl/spfileorcl.ora

ORA-17503: ksfdopn:2 Failed to open file +ASM/orcl/spfileorcl.ora

ORA-15001: diskgroup "ASM" does not exist or is not mounted

ORA-06512: at line 4

看上子是权限相关的问题。

 

此时使用

create spfile='+ASM/orcl/sss.ora' from pfile='/u01/app/oracle/product/11.2.0/db_1/dbs/init.ora';

create spfile='+ASM/orcl/sss.ora' from pfile='/u01/app/oracle/product/11.2.0/db_1/dbs/init.ora'

*

ERROR at line 1:

ORA-17502: ksfdcre:4 Failed to create file +ASM/orcl/sss.ora

ORA-15077: could not locate ASM instance serving a required diskgroup

报错提示+ASM不能识别。

 

尝试1：

查看权限

ASM磁盘的权限在c1、c2上都是

brw-rw---- 1 grid asmadmin 8, 17 Mar 13 09:34 V1

brw-rw---- 1 grid asmadmin 8, 33 Mar 13 09:34 V2

brw-rw---- 1 grid asmadmin 8, 49 Mar 13 09:34 V3

brw-rw---- 1 grid asmadmin 8, 65 Mar 13 09:34 V4

由于oracle用户也在asmadmin组中，所以c2能读写c1也能读写，这个部分看不出问题。

 

尝试2：

使用grid用户在asmcmd中查看

在c2节点上可以看到

ASM路径和GRID路径，也就是两个ASM磁盘组，信息正确。

在c1节点上可以看到

GRID路径，但看不到ASM路径。信息不完整。

 

尝试3：

使用grid用户启动asmca

在c1和c2都能看到ASM和GRID两个磁盘组是MOUNTED状态，实例都是UP状态。仍旧看不出什么问题。

 

尝试4：

在c1上使用asmca进行UNMOUNT ASM磁盘组，再MOUNT ASM磁盘组。

 

再次重启c1实例：

成功了，+ASM磁盘可以识别了。