oracle技术之一次RMAN备份报错的诊断过程（三）

今天检查数据库中的备份输出脚本时，发现RMAN备份出现了错误。

解决JOB长时间未完成的问题。

在前面一篇文章中，描述了对当前问题的分析，并简单分析了数据库中未完成的JOB，下面看看导致RMAN无法登陆的原因是否与JOB未完成的原因一致：

bash-3.00$ rman target /

恢复管理器: Release10.2.0.3.0 - Production on星期二5月26 15:30:17 2009

Copyright (c) 1982, 2005, Oracle.  All rights reserved.

在RMAN连接被挂起的时候，看看数据库中的会话在等待什么：

SQL> SELECT PROGRAM, A.SID, LMODE, REQUEST, CTIME, BLOCK

 2  FROM V$SESSION A, V$LOCK B

 3  WHERE A.SID = B.SID

 4  AND A.USERNAME IS NOT NULL;

PROGRAM                               SID      LMODE    REQUEST      CTIME      BLOCK

------------------------------ ---------- ---------- ---------- ---------- ----------

oracle@ahrac1 (J010)                  118          3          0     228786          2

oracle@ahrac1 (J010)                  118          6          0     228789          2

oracle@ahrac1 (J006)                  102          6          0     225186          2

rman@ahrac1 (TNS V1-V3)                52          5          0        171          1

rman@ahrac1 (TNS V1-V3)                52          4          0        171          0

oracle@ahrac1 (J005)                  289          3          0     225183          2

oracle@ahrac1 (J005)                  289          6          0     225189          2

oracle@ahrac1 (J006)                  102          3          0     225165          2

oracle@ahrac1 (J010)                  118          3          0     228786          2

oracle@ahrac1 (J010)                  118          6          0     228786          2

oracle@ahrac1 (J005)                  289          6          0     225183          2

已选择11行。

SQL> SELECT SID, EVENT, P1TEXT, P1, P2TEXT, P2, SECONDS_IN_WAIT

 2  FROM V$SESSION

 3  WHERE PROGRAM LIKE 'rman%';

      SID EVENT                        P1TEXT             P1 P2TEXT    P2 SECONDS_IN_WAIT

---------- ---------------------------- ---------- ---------- -------- --- ---------------

       52 control file parallel write  files               3 block#   813             286

      225 SQL*Net message from client  driver id  1650815232 #bytes     1             287

从V$LOCK的查询看，RMAN进程居然阻塞了其他会话：

SQL> SELECT A.SID, B.SID

 2  FROM V$LOCK A, V$LOCK B

 3  WHERE A.BLOCK = 1

 4  AND B.REQUEST > 0

 5  AND A.ID1 = B.ID1

 6  AND A.ID2 = B.ID2;

      SID        SID

---------- ----------

      327        160

       52        160

      327        320

       52        320

已选择4行。

SQL> SELECT SID, PROGRAM    

 2  FROM V$SESSION

 3  WHERE SID IN (327, 160, 320);

      SID PROGRAM

---------- ----------------------------------------

      160 oracle@ahrac1 (ARC0)

      320 oracle@ahrac1 (ARC1)

      327 oracle@ahrac1 (CKPT)

可以看到，被锁住的系统进程时归档进程。不过这里并没有体现是什么操作导致了RMAN进程被锁。

根据目前分析的信息，问题出现时间似乎是在23日晚17点到24日凌晨1点左右，随后的一些操作都是正常的，问题最早表现都是在等待读取远端缓存，而这些处于等待状态的会话由于持有了一些共享资源，从而导致一些其他的会话无法工作。Rman进程无法连接怀疑就是共享资源被占用造成的。根据这些现象，怀疑可能是网络的瞬间闪断，造成了通信问题，使得一些会话永远处于等待远端缓存的状态。而RACGMAIN CHECK很可能是Oracle用来监测另一个节点状态的。

如果是这个原因造成的，那么应该并不需要重启数据库，就可以解决这个问题，只需要找到最早占用资源的会话，通过操作系统工具将其杀掉，就可以释放共享资源。

SQL> SELECT SID, TYPE, ID1, ID2, LMODE, CTIME

 2  FROM V$LOCK

 3  WHERE ADDR IN (SELECT ADDR FROM V$TRANSACTION WHERE START_DATE < TRUNC(SYSDATE));

      SID TY        ID1        ID2      LMODE      CTIME

---------- -- ---------- ---------- ---------- ----------

      144 TX     655449     137382          6     255259

      118 TX     262181      87690          6     230096

      289 TX     458770      86777          6     226493

      277 TX     524320      89189          6     241410

SQL> SELECT PROGRAM              

 2  FROM V$SESSION

 3  WHERE SID IN (144, 118, 289, 277);

PROGRAM

----------------------------------------

oracle@ahrac1 (J010)

oracle@ahrac1 (m000)

oracle@ahrac1 (m001)

oracle@ahrac1 (J005)

SQL> SELECT SPID          

 2  FROM V$PROCESS, V$SESSION

 3  WHERE PADDR = ADDR

 4  AND SID IN (144, 118, 289, 277);

SPID

------------

17895

13387

2683

15807

JOB进程和Mnnn进程都属于轻量级进程，杀掉并不会影响数据库的运行，下面执行操作系统命令杀掉对应的进程：

SQL> host

$ kill -9 17895

$ kill -9 13387

$ kill -9 2683

$ kill -9 15807

$ exit

由于还有1个JOB在没有启动事务，不过停在等待library cache lock的状态，同样通过操作系统命令将进程结束：

SQL> SELECT SPID FROM V$PROCESS

 2  WHERE ADDR IN (SELECT PADDR FROM V$SESSION WHERE SID = 102);

SPID

------------

13389

SQL> HOST kill -9 13389

检查现在系统状态：

SQL> SELECT SID, JOB, LAST_DATE, THIS_DATE

 2  FROM DBA_JOBS_RUNNING;

      SID        JOB LAST_DATE           THIS_DATE

---------- ---------- ------------------- -------------------

      113          4 2009-05-10 00:00:05 2009-05-26 15:59:50

      257         27 2009-05-17 01:00:03 2009-05-26 15:59:50

SQL>COLWHAT FORMAT A50

SQL> SELECT JOB, WHAT, LOG_USER, LAST_DATE, NEXT_DATE

 2  FROM DBA_JOBS

 3  WHERE JOB = 74;

      JOB WHAT                           LOG_USER   LAST_DATE           NEXT_DATE

---------- ------------------------------ ---------- ------------------- -------------------

       74 P_Project_Stat;                GPO        2009-05-26 16:04:56 2009-05-27 01:00:00

可以看到JOB74已经顺利执行完成，但是另外两个JOB执行一点时间就停下了：

SQL> SELECT MESSAGE      

 2  FROM V$SESSION_LONGOPS

 3  WHERE SID IN (113, 257)

 4  AND TOTALWORK != SOFAR;

MESSAGE

-----------------------------------------------------------------------------------

Gather Schema Statistics: Schema : 58 out of 138 Objects done

Gather Table's Index Statistics: Table CAT_INVITE_COMM : 3 out of 5 Indexes done

Gather Table Partition Statistics: Table EMED_WEB_LOG : 10 out of 20 Partitions done

Gather Schema Statistics: Schema : 77 out of 444 Objects done

SQL> SELECT SID, EVENT, P1TEXT, P1, SECONDS_IN_WAIT

 2  FROM V$SESSION_WAIT

 3  WHERE SID IN (113, 257);

      SID EVENT                          P1TEXT             P1 SECONDS_IN_WAIT

---------- ------------------------------ ---------- ---------- ---------------

      113 enq: CF - contention           name|mode  1128660996              37

      257 enq: CF - contention           name|mode  1128660996              70

SQL> SELECT SID, TYPE, ID1, ID2, LMODE, REQUEST, CTIME, BLOCK

 2  FROM V$LOCK

 3  WHERE SID IN (113, 257);

      SID TY        ID1        ID2      LMODE    REQUEST      CTIME      BLOCK

---------- -- ---------- ---------- ---------- ---------- ---------- ----------

      113 JQ          0          4          6          0       1428          2

      113 CF          0          0          0          4         62          0

      257 CF          0          0          0          4         95          0

      257 JQ          0         27          6          0       1428          2

      257 TM         18          0          3          0        994          2

      113 TX      65580      89361          6          0        961          2

      257 TX     196689      87608          6          0        994          2

已选择7行。

而且RMAN进程报错依旧，看来问题只解决了一部分。

考虑到RAC两个实例都可能出现类似的问题，在另外的实例上查找长时间占用锁的会话，以及一直在运行的SQL语句：

SQL> SELECT A.INST_ID, A.SID, B.INST_ID, B.SID

 2  FROM GV$LOCK A, GV$LOCK B

 3  WHERE A.INST_ID = B.INST_ID

 4  AND A.BLOCK = 1

 5  AND B.REQUEST > 0

 6  AND A.ID1 = B.ID1

 7  AND A.ID2 = B.ID2;

  INST_ID        SID    INST_ID        SID

---------- ---------- ---------- ----------

        2        125          2        141

        2        125          2        331

SQL> SELECT SID, JOB, LAST_DATE, THIS_DATE        

 2  FROM DBA_JOBS_RUNNING;

未选定行

SQL> SELECT SID, USERNAME, PROGRAM, SERVICE_NAME

 2  FROM V$SESSION

 3  WHERE SID IN (125, 141, 331);

      SID USERNAME        PROGRAM                        SERVICE_NAME

---------- --------------- ------------------------------ ---------------------

      125 GPO_SELE        oracle@newreport (TNS V1-V3)   tradedb.us.oracle.com

      141 BEIJING_SELE    oracle@newreport (TNS V1-V3)   tradedb.us.oracle.com

      331 ZHEJIANG_SELE   oracle@newreport (TNS V1-V3)   tradedb.us.oracle.com

这三个连接都是远端数据库连接，用来同步数据的，先杀掉这3个会话对应的进程：

SQL> SELECT SPID

 2  FROM V$PROCESS

 3  WHERE ADDR IN (SELECT PADDR FROM V$SESSION WHERE SID IN (125, 141, 331));

SPID

------------

20741

20681

21382

SQL> HOST

$ kill -9 20741

$ kill -9 20681

$ kill -9 21382

$ exit

检查长时间持有锁的会话，并清除：

SQL> SELECT SID, TYPE, ID1, ID2, LMODE, REQUEST, CTIME, BLOCK

 2  FROM V$LOCK

 3  WHERE CTIME > 86400*2

 4  AND CTIME < 86400*10;

      SID TY        ID1        ID2      LMODE    REQUEST      CTIME      BLOCK

---------- -- ---------- ---------- ---------- ---------- ---------- ----------

      121 WF          0          0          4          0     258588          2

SQL> SELECT SPID, A.PROGRAM

 2  FROM V$SESSION A, V$PROCESS B

 3  WHERE ADDR = PADDR

 4  AND SID = 121;

SPID         PROGRAM

------------ ------------------------------

13433        oracle@ahrac2 (m000)

检查刚才停顿的JOB：

SQL> SELECT SID, JOB, LAST_DATE, THIS_DATE

 2  FROM DBA_JOBS_RUNNING;

      SID        JOB LAST_DATE           THIS_DATE

---------- ---------- ------------------- -------------------

      257         27 2009-05-17 01:00:03 2009-05-26 15:59:50

SQL> SELECT MESSAGE      

 2  FROM V$SESSION_LONGOPS

 3  WHERE SID = 257

 4  AND TOTALWORK != SOFAR;

MESSAGE

------------------------------------------------------------------------------

Gather Schema Statistics: Schema : 193 out of 444 Objects done

至此，数据库中未完成的JOB的问题已经解决，不过RMAN进程还是无法连接到数据库中，错误依旧。

看来问题比想象中的还要复杂。

oracle视频教程请关注:http://u.youku.com/user_video/id_UMzAzMjkxMjE2.html