一个latch: ges resource hash list和library cache: mutex X并发的问题分析案例

最近没有研究什么，先整理整理以前的故障分析报告吧！

主要是关于一个latch: ges resource hash list和library cache: mutex X并发的故障。

1. 分析主机负载情况

 

根据监控所看当时故障期间主要是 CPU 耗尽，因此查询当时 CPU 相关日志：

VMSTAT: zzz ***Mon Mar 5 08:36:18   CST 2018 procs   -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----  r    b   swpd   free     buff  cache   si     so    bi    bo     in   cs us   sy id wa st 149   3    124 9812752 1198728 35568716    0      0  1298   589 44966 29616 88   12  0    0  0   135   4    124 9798624 1198728 35568716    0      0  1281   251 40886 27238 88   11  0    0  0   zzz ***Mon Mar 5 08:37:07   CST 2018 procs   -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----  r    b   swpd   free     buff  cache   si     so    bi    bo     in   cs us   sy id wa st 189  2    124 9781452 1198728 35569696    0      0  1185   215 38132 25382 86   14  0    0  0  176  5    124 9779200 1198728 35569696    0      0  1363   314 40060 29394 87   13  0    0  0  zzz ***Mon Mar 5 08:37:57   CST 2018 procs   -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----  r    b   swpd   free     buff  cache   si     so    bi    bo     in   cs   us sy id wa st 149   4    124 9793104 1198728 35570700    0      0  1417    58 40571 26809 87   13  0    0  0   176   8    124 9808340 1198728 35570928    0      0  1161   620 41007 27465 89   11  0    0  0

MPSTAT: zzz ***Mon Mar 5 08:39:39 CST 2018 Linux 2.6.32-573.el6.x86_64 (yyxxdb04)    03/05/18     _x86_64_ (16 CPU)   08:39:40       CPU    %usr   %nice      %sys %iowait    %irq   %soft    %steal  %guest   %idle  《《《idle 0 08:39:41       all   90.26    0.00      7.93    0.00    0.00      1.81    0.00    0.00      0.00 08:39:41         0   95.00    0.00      5.00    0.00    0.00      0.00    0.00    0.00      0.00 08:39:41         1   89.11    0.00      7.92    0.00    0.00      2.97    0.00    0.00      0.00 08:39:41         2   94.95    0.00      5.05    0.00    0.00      0.00    0.00    0.00      0.00 08:39:41         3   81.82    0.00      4.04    0.00    0.00     14.14    0.00    0.00      0.00 08:39:41         4   86.00    0.00      6.00    0.00    0.00      8.00    0.00    0.00      0.00 08:39:41         5   90.00    0.00      7.00    0.00    0.00      3.00    0.00    0.00      0.00 08:39:41         6   95.00    0.00      5.00    0.00    0.00      0.00    0.00    0.00      0.00 08:39:41         7   95.00    0.00      5.00    0.00    0.00      0.00    0.00    0.00      0.00 08:39:41         8   91.00    0.00      8.00    0.00    0.00      1.00    0.00    0.00      0.00 08:39:41         9   81.00    0.00     19.00    0.00    0.00      0.00    0.00    0.00