solaris上应该如何监控CPU使用情况

在solaris系统上，通常可以使用top和prstat命令监控CPU使用情况。但仅使用这两个命令还不够，因为这两个命令看到的CPU使用率是占全部CPU的比例。也就是说，如果服务器有10个CPU，其中9个CPU使用率为0，1个CPU使用率为100%，那么这两个命令看到的CPU使用率是10%。从整体上看似乎不存在CPU瓶颈，但实际上那个使用率为100%的CPU很可能就是系统性能不佳的根本原因。

solaris10提供了mpstat命令，这个命令可以用来监控单个CPU的使用情况。

以下是我们的系统上发生的一个实例：

1. 用top监控CPU使用情况

last pid: 18914;  load avg:  1.02,  1.02,  1.02;       up 0+07:20:32                                                    
119 processes: 117 sleeping, 2 on cpu
CPU states: 96.8% idle,  3.1% user,  0.0% kernel,  0.0% iowait,  0.0% swap
Memory: 16G phys mem, 11G free mem, 16G total swap, 16G free swap

   PID USERNAME LWP PRI NICE  SIZE   RES STATE    TIME    CPU COMMAND
27963 ols       13   0    0 1278M 1273M cpu/24 197:27  3.13% cchd
18909 root       1  59    0 3624K 2160K cpu/9    0:00  0.00% top
18696 root       1  59    0 3472K 2576K sleep    0:00  0.00% mpstat

top命令显示CPU使用率仅有3%左右，似乎CPU上不存在问题。

2. 用prstat命令监控进程CPU使用情况

  PID USERNAME  SIZE   RSS STATE  PRI NICE      TIME  CPU PROCESS/NLWP     
27963 ols      1328M 1324M cpu8    30    0   3:38:48 3.1% cchd/13
19233 root     9744K 5624K sleep   59    0   0:00:00 0.0% sshd/1
  1085 root       19M   10M sleep   59    0   0:00:04 0.0% fmd/24
   787 root     1832K  776K sleep   59    0   0:00:00 0.0% evhandsd/1
   862 root     2800K 1296K sleep   59    0   0:00:00 0.0% dcs/1

prstat显示CPU使用率最高的进程CPU使用率仅占3.1%，看起来也没什么问题。

3. 用mpstat使用查看

#> mpstat 5
CPU minf mjf xcal  intr ithr  csw icsw migr smtx  srw syscl  usr sys  wt idl
  0   63   0 2187   443   23  339   10   44  119    0  2510    4   2   0  94
  1  108   0 4088   324   44  428    9   51  141    0  3745    5   2   0  93
  2   53   0 2674   168    9  281    8   37  101    0  1604    2   1   0  97
  3   15   0 1113   120    4  207    7   29   76    0   897    2   1   0  97
  4   43   0 1553   139   13  244    7   31   82    0  1221    2   1   0  97
  5  112   0 4116   244   42  416    8   45  135    0  3848    4   2   0  94
  6   52   0 2711   127    7  245    7   31   90    0  1153    2   1   0  97
  7   14   0  988    87    3  162    6   22   63    0   641    1   1   0  98
  8   20   0  872    83    3  162    6   22   62    0   570    1   1   0  98
  9   58   0 2851   169   19  321    7   34  109    0  1993    3   2   0  96
10  114   0 4153   248   40  449    8   48  144    0  3591    6   2   0  92
11   16   0 1201    90    3  177    6   25   67    0   555    1   1   0  98
12   16   0  982    81    3  158    6   22   61    0   545    2   1   0  98
13   69   0 3293   171   21  324    7   33  110    0  2124    4   2   0  94
14  118   0 4084   250   42  451    8   47  145    0  3823    7   2   0  91
15   17   0 1301    93    7  175    6   25   68    0   608    2   1   0  97
16   24   0 1535   286  175  219    7   28   86    0   826    1   1   0  97
17   28   0 1862   105   10  200    6   24   75    0   900    1   1   0  98
18   49   0 2281   159   39  256    7   30   91    0  1589    4   1   0  95
19  106   0 3583   271   67  438    8   44  133    0  3340    4   2   0  94
20   36   0 1628   133   30  217    7   26   82    0   784    1   1   0  97
21   27   0 2037   102    6  203    6   24   75    0   820    2   1   0  97
22   55   0 2524   159   39  258    7   29   95    0  1653    2   1   0  97
23  103   0 3460   245   44  435    8   44  134    0  3587    8   2   0  89
24  137   0 3523   244   41  436    8   45  138    0  3825    7   2   0  91
25   28   0 1870   104    5  208    7   27   76    0   835    1   1   0  98
26   33   0 1934   101    4  204    6   24   75    0  1001    1   1   0  98
27   40   0 2121   145   16  278    7   28   92    0  1529    3   1   0  96
28  100   0 3795   241   41  434    8   44  138    0  3745    8   2   0  90
29   32   0 2018   102    4  207    6   27   76    0   814    1   1   0  98
30   34   0 1909    98    4  197    6   24   73    0   928    1   1   0  98
31   39   0 2053   148   17  274    7   28   91    0  1453    3   1   0  96
CPU minf mjf xcal  intr ithr  csw icsw migr smtx  srw syscl  usr sys  wt idl
  0    0   0    8   407  104  215    0    0    0    0   100    0   0   0 100
  1    0   0   28   415  184  375    0    1    0    0   364    0   0   0 100
  2   11   0    2    11    3   10    0    0    2    0   287    0   0   0 100
  3    0   0    1     9    3    8    0    0    0    0     0    0   0   0 100
  4    0   0    2   106   50  104    0    0    0    0    50    0   0   0 100
  5    0   0    1    20    8   17    0    0    0    0    14    0   0   0 100
  6    0   0    1     8    1    5    0    0    0    0     1    0   0   0 100
  7    0   0    0     2    1    1    0    0    0    0     2    0   0   0 100
8    5   0    0     6    0    0    5    0    0    0    24  100   0   0   0
  9    0   0    0     1    0    0    0    0    0    0     0    0   0   0 100
10    0   0    0     2    0    0    0    0    0    0     0    0   0   0 100
11    0   0    0     1    0    0    0    0    0    0     0    0   0   0 100
12    0   0    0     2    1    0    0    0    0    0     0    0   0   0 100
13    0   0    0     1    0    0    0    0    0    0     0    0   0   0 100
14    0   0    0     1    0    0    0    0    0    0     0    0   0   0 100
15    0   0    0     5    4    0    0    0    0    0     0    0   0   0 100
16    0   0    0     7    6    0    0    0    1    0     0    0   0   0 100
17    0   0    1     3    2    0    0    0    0    0     0    0   0   0 100
18    0   0    1    38   18   36    0    0    0    0    35    0   0   0 100
19    0   0    4    41   18   49    0    1    1    0   153    0   0   0 100
20    0   0    0     2    0    0    0    0    0    0     0    0   0   0 100
21    0   0    0     1    0    0    0    0    0    0     0    0   0   0 100
22    0   0    0     3    1    2    0    0    0    0     0    0   0   0 100
23    0   0    1     9    2    7    0    0    0    0     5    0   0   0 100
24    0   0    1   113   55  111    0    0    0    0    60    0   0   0 100
25    0   0    1     6    1    3    0    0    0    0     1    0   0   0 100
26    0   0    0     1    0    0    0    0    0    0     0    0   0   0 100
27    0   0    1     9    1   10    0    0    0    0     1    0   0   0 100
28    0   0    1    58   26   57    0    0    0    0    60    0   0   0 100
29    0   0    0     5    2    4    0    0    0    0     1    0   0   0 100
30    0   0    0     1    0    0    0    0    0    0     0    0   0   0 100
31    0   0    1    15    4    6    0    0    1    0    25    0   0   0 100

mpstat显示出CPU8使用率为100%，而其它CPU使用率基本为0。而CPU8使用都是由user占用的,system占用为0,这说明CPU使用主要是由于user thread引起的，而不是kernel thread.

而从步骤2中可以看到使用CPU8的进程是cchd，这样就可以知道是哪个进程CPU占用率过高了。
http://space.itpub.net/228190/viewspace-673189