fusion-io 卡使用率 100% 导致 Oracle RAC instance crash 问题

该问题根因,初步怀疑是 fusion-io 卡 fireware 、驱动层面的问题。

【滨江 4.1 业务点数据库 alert 日志】

Fri Jul 10 16:52:59 2015
Timed out trying to start process PZ98.
Fri Jul 10 16:53:03 2015
Timed out trying to start process PZ97.
Fri Jul 10 16:53:07 2015
Timed out trying to start process PZ96.
Fri Jul 10 16:54:21 2015
IPC Send timeout detected. Receiver ospid 18745 [
Fri Jul 10 16:54:48 2015
PMON failed to acquire latch, see PMON dump
Fri Jul 10 16:55:14 2015
Errors in file /opt/oradiag/diag/rdbms/irracd_bj/irracd1/trace/irracd1_ora_25754.trc  (incident=1062153):
ORA-00445: background process "PZ95" did not start after 120 seconds
Incident details in: /opt/oradiag/diag/rdbms/irracd_bj/irracd1/incident/incdir_1062153/irracd1_ora_25754_i1062153.trc
Fri Jul 10 16:55:22 2015
Dumping diagnostic data in directory=[cdmp_20150710165522], requested by (instance=1, osid=25754), summary=[incident=1062153].
Fri Jul 10 16:55:33 2015
Errors in file /opt/oradiag/diag/rdbms/irracd_bj/irracd1/trace/irracd1_lmon_18745.trc:
Fri Jul 10 16:55:33 2015
Received an instance abort message from instance 2
Please check instance 2 alert and LMON trace files for detail.
Fri Jul 10 16:55:33 2015
Received an instance abort message from instance 2
Please check instance 2 alert and LMON trace files for detail.
Fri Jul 10 16:55:33 2015
LGWR waiting for instance termination
LMD0 (ospid: 18747): terminating the instance due to error 481
Fri Jul 10 16:55:33 2015
opiodr aborting process unknown ospid (26149) as a result of ORA-1092
Fri Jul 10 16:55:33 2015
opiodr aborting process unknown ospid (15947) as a result of ORA-1092
Fri Jul 10 16:55:33 2015
opiodr aborting process unknown ospid (25849) as a result of ORA-1092
Fri Jul 10 16:55:33 2015
opiodr aborting process unknown ospid (26024) as a result of ORA-1092
Fri Jul 10 16:55:33 2015
opiodr aborting process unknown ospid (24509) as a result of ORA-1092


【2 号点 iostat 】

zzz ***Fri Jul 10 16:48:05 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00  965.00  150.00  7720.00  1639.50    16.79     0.00    0.09   0.00   0.00
fioc              0.00     0.00 2983.00  344.00 47888.00  3256.00    30.74     0.00    0.13   0.00   0.00
fiob              0.00     0.00 2785.00  300.00 46392.00  2952.00    31.99     0.00    0.14   0.00   0.00
zzz ***Fri Jul 10 16:48:32 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00  431.00  128.00  3480.00  1448.00    17.63     0.00    0.10   0.00   0.00
fioc              0.00     0.00 1539.00  296.00 38408.00  2783.50    44.90     0.00    0.13   0.00   0.00
fiob              0.00     0.00 1259.00  245.00 35952.00  2584.00    51.24     0.00    0.17   0.00   0.00
zzz ***Fri Jul 10 16:48:59 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00   47.00    8.00   376.00    80.00    16.58     0.00    0.07   0.00   0.00
fioc              0.00     0.00   88.00   14.00   752.00   128.00    17.25     0.00    0.10   0.00   0.00
fiob              0.00     0.00   32.00   12.00   272.00   136.00    18.55   302.30    0.07  22.73 100.00
zzz ***Fri Jul 10 16:49:25 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    1.00     0.00    16.00    32.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00    3.00    0.00    48.00     0.00    32.00     0.00    0.00   0.00   0.00
fiob              0.00     0.00    3.00    2.00    48.00    32.00    32.00   359.00    0.20 200.00 100.00
zzz ***Fri Jul 10 16:49:52 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    1.00     0.00    16.00    32.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
fiob              0.00     0.00    2.00    2.00    32.00    32.00    32.00   369.00    0.00 250.00 100.00
zzz ***Fri Jul 10 16:50:19 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    1.00     0.00    16.00    32.00     0.00    1.00   0.00   0.00
fioc              0.00     0.00    9.00    0.00   144.00     0.00    32.00     0.00    0.44   0.00   0.00
fiob              0.00     0.00    6.00    2.00    96.00    32.00    32.00   370.37    0.12 125.12 100.10
zzz ***Fri Jul 10 16:50:46 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    1.00     0.00    16.00    32.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00    2.00    0.00    32.00     0.00    32.00     0.00    0.50   0.00   0.00
fiob              0.00     0.00    1.00    2.00    16.00    32.00    32.00   374.75    0.33 334.00 100.20
zzz ***Fri Jul 10 16:51:13 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    1.00     0.00    16.00    32.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
fiob              0.00     0.00    2.00    2.00    32.00    32.00    32.00   376.62    0.00 249.75  99.90
zzz ***Fri Jul 10 16:51:40 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    1.00     0.00    16.00    32.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00    1.00    0.00     8.00     0.00    16.00     0.00    2.00   0.00   0.00
fiob              0.00     0.00    2.00    2.00    32.00    32.00    32.00   381.38    0.00 250.25 100.10
zzz ***Fri Jul 10 16:52:07 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
fiob              0.00     0.00    1.00    0.00    16.00     0.00    32.00   382.38    0.00 1001.00 100.10
zzz ***Fri Jul 10 16:52:34 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    1.00     0.00    16.00    32.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
fiob              0.00     0.00    3.00    2.00    48.00    32.00    32.00   384.00    0.20 200.00 100.00
zzz ***Fri Jul 10 16:53:01 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    1.00     0.00    16.00    32.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
fiob              0.00     0.00    1.00    2.00    16.00    32.00    32.00   385.00    0.00 333.33 100.00
zzz ***Fri Jul 10 16:53:28 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    1.00     0.00    16.00    32.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
fiob              0.00     0.00    1.00    2.00    16.00    32.00    32.00   387.39    0.00 333.67 100.10
zzz ***Fri Jul 10 16:53:55 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    1.00     0.00    16.00    32.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
fiob              0.00     0.00    1.00    2.00    16.00    32.00    32.00   389.78    0.00 334.00 100.20
zzz ***Fri Jul 10 16:54:21 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    6.00     0.00    96.00    32.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00    7.00    0.00   560.00     0.00   160.00     0.00    0.57   0.00   0.00
fiob              0.00     0.00   13.00   21.00   656.00   336.00    58.35   393.00    0.68  29.41 100.00
zzz ***Fri Jul 10 16:54:47 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    1.00    1.00     4.00    16.00    20.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00   42.00    0.00  4916.00     0.00   234.10     0.00    0.21   0.00   0.00
fiob              0.00     0.00   39.00    2.00  4880.00    32.00   239.61   394.79    0.24  24.44 100.20
zzz ***Fri Jul 10 16:55:14 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    1.00     0.00    16.00    32.00     0.00    0.00   0.00   0.00
fioc              0.00     0.00   38.00    0.00  4864.00     0.00   256.00     0.00    0.47   0.00   0.00
fiob              0.00     0.00   38.00    2.00  4864.00    32.00   244.80   395.39    0.53  25.02 100.10
zzz ***Fri Jul 10 16:55:41 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00    0.00    2.00     0.00    16.50    16.50     0.00    0.00   0.00   0.00
fioc              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
fiob              0.00     0.00    2.00    2.00    32.00    32.00    32.00     0.00    2.75   0.00   0.00
zzz ***Fri Jul 10 16:56:08 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00 7714.00 3434.00 62096.00 31312.00    16.76     1.99    0.25   0.09  99.70
fioc              0.00     0.00 5556.00 11181.00 50304.00 94811.50    17.34     0.00    0.71   0.00   0.00
fiob              0.00     0.00 5524.00 8338.00 48872.00 68704.00    16.96     2.99    0.24   0.07  99.70
zzz ***Fri Jul 10 16:56:35 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00  580.00  215.00  4672.00   416.00    12.80     0.00    0.09   0.00   0.00
fioc              0.00     0.00 1261.00  150.00 10560.00   279.00    15.36     0.00    0.11   0.00   0.00
fiob              0.00     0.00 1040.00    4.00  8944.00    64.00    17.26     0.00    0.12   0.00   0.00
zzz ***Fri Jul 10 16:57:02 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00  396.00  131.00  3168.00   346.50    13.34     0.00    0.13   0.00   0.00
fioc              0.00     0.00  753.00  142.00  6064.00   243.50    14.09     0.00    0.12   0.00   0.00
fiob              0.00     0.00  662.00   10.00  5336.00   160.00    16.36     0.00    0.15   0.00   0.00
zzz ***Fri Jul 10 16:57:29 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00  473.00  147.00  3784.00   352.00    13.34     0.00    0.12   0.00   0.00
fioc              0.00     0.00 1068.00  159.00  9064.00   303.50    15.27     0.00    0.13   0.00   0.00
fiob              0.00     0.00  911.00    8.00  7888.00   128.00    17.45     0.00    0.13   0.00   0.00
zzz ***Fri Jul 10 16:57:56 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00  320.00  157.00  2560.00   288.00    11.94     0.00    0.09   0.00   0.00
fioc              0.00     0.00  719.00  146.00  6080.00   263.50    14.67     0.00    0.14   0.00   0.00
fiob              0.00     0.00  653.00    4.00  5600.00    64.00    17.24     0.00    0.15   0.00   0.00
zzz ***Fri Jul 10 16:58:23 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00  339.00  138.00  2712.00   347.00    12.83     0.00    0.13   0.00   0.00
fioc              0.00     0.00  814.00  160.00  6840.00   348.50    14.76     0.00    0.13   0.00   0.00
fiob              0.00     0.00  727.00    4.00  6216.00    64.00    17.18     0.00    0.12   0.00   0.00
zzz ***Fri Jul 10 16:58:50 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00  974.00  660.00  7792.00  1391.50    11.24     0.00    0.11   0.00   0.00
fioc              0.00     0.00 1533.00  616.00 12632.00  1311.50    12.98     0.00    0.10   0.00   0.00
fiob              0.00     0.00 1257.00    4.00 10408.00    64.00    16.61     0.00    0.15   0.00   0.00
zzz ***Fri Jul 10 16:59:17 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00  869.00  612.00  6952.00  1312.00    11.16     0.00    0.10   0.00   0.00
fioc              0.00     0.00 1425.00  581.00 11728.00  1252.00    12.94     0.00    0.11   0.00   0.00
fiob              0.00     0.00 1189.00    4.00  9896.00    64.00    16.70     0.00    0.15   0.00   0.00
zzz ***Fri Jul 10 16:59:44 CST 2015
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
fioa              0.00     0.00  712.00  583.00  5728.00  1301.00    10.86     0.78    0.10   0.60  78.10
fioc              0.00     0.00 1046.00  538.00  9016.00  1179.50    12.87     0.00    0.12   0.00   0.00
fiob              0.00     0.00  936.00    4.00  8216.00    64.00    17.62     0.22    0.17   0.23  21.80
bash-3.2#

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/66634/viewspace-1743751/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/66634/viewspace-1743751/

你可能感兴趣的:(fusion-io 卡使用率 100% 导致 Oracle RAC instance crash 问题)