性能测试监控——CPU

性能测试监控——CPU

为了全面详细的分析系统运行状态，发现隐藏的性能瓶颈。性能测试期间，全面监视CPU运行状态是很有必要的。

本文侧重分析性能测试期间需要监控的CPU运行状态指标，对比相关查询命令的优劣，并给出最终的shell脚本。

关于各指标的详细含义，见附件。

一、  监控指标项及其理想值

1、load average，平均每个逻辑内核不能高于0.7。

         load average大于1，表示系统中存在处于等待状态的任务，任务竞争CPU容易导致性能降低，时延增大，甚至进入恶性循环。在一个合理的load average下加压，监测CPU使用率的变化情况，可以帮助发现I/O、内存、网络中的性能瓶颈。

2、CPU总占有率。总占有率小于70%，其中以%usr为主，%sys和%iowait不能太高。

3、各逻辑内核CPU占有率持平。

4、执行相同任务的进程CPU占有率持平。

5、进程状态合理，僵死进程不能太多。

二、  数据收集

数据收集的重点与核心在于：

详实而又不冗余，不关注无关指标，以最少的数字反应关注的指标。

 

有的指标项，比如各逻辑内核的CPU占有率持平，关注的是一组数据的分布特点，而不关心数据的具体值。同时，当前系统性能的瓶颈主要在I/O。数据收集期间记录全部数据的具体数值，即降低影响系统性能，又加大了后期数据处理的工作量。

故，数据收集之前，对我们所需要的数据的统计特征进行分析。

1.      load average

每隔1min，5min或15min取该段时间内的load average即可。一次取1个数据。

shell命令：uptime | awk -F: '{print $NF}'|awk -F, '{print $1}'

命令解释：

uptime获取load average。

awk -F: '{print $NF}'提取1min，5min或15min 内load average的具体数值。

awk -F, '{print $1}'提取其中1个字段。

2.      CPU总占有率

每隔一段时间，取当前的%usr,%sys,%iowait,%idle取值。

shell命令：mpstat|grep all

解释：mpstat的输出参数，无法自定义字段。其中部分字段是我们暂时不关注，但后续会关注。另外，剔除这些字段涉及较多的管道和文本分析，较为复杂。同时，降低了脚本的可移植性。

3.      各逻辑内核CPU占有率持平

根据各逻辑内核的CPU占有率计算：跨度（（max-min）/average），mdev（sqrt（平方和的平均值-平均值的平方））

命令：

mpstat -P ALL|grep -v -i ALL|grep -o -e '[0-9][0-9]*\..*\.[0-9]*[0-9]$'|awk -v col=9 -f cal.awk

其中用到了脚本 cal.awk

解释：

mpstat -P ALL|grep -v -i ALL|grep -o -e '[0-9][0-9]*\..*\.[0-9]*[0-9]$' 提取各CPU的指标的数据。

col=9，列数。

cal.awk脚本计算数据值的跨度和mdev

 

BEGIN {

        for(i=1;i<=col;i++){

                sum[i] = 0;

                squsum[i] = 0;

                max[i] = 0;

                min[i] = 1000000;

        }

}

{

        for(j=1;j<=col;j++) {

                tmp = $j

                sum[j] += tmp

                squsum[j] += tmp*tmp

                if(max[j]

                        max[j] = tmp

                if(min[j]>tmp)

                        min[j] = tmp

        }

}

END {

        for(k=1;k<=col;k++) {

                ave = sum[k]/NR

                mdev = sqrt(squsum[k]/NR-ave*ave)

                printf("%.2f/%.2f/%.2f/%.2f  "), ave,max[k],min[k],mdev

        }

}

4.      执行相同任务的进程CPU占有率持平

算法同上。

命令：

# ps aux |grep nginx|grep -v grep|awk '{print $3}'|awk -v col=1 -f cal.awk

ave/max/min/mdev = 2.59/3.00/0.00/0.92

三、  脚本化

定时（每分钟）输出cpu运行状态信息到指定文件（cpu_yjk.log）。

 

为了方便后续用python进行数据分析，输出格式统一如下：

1、每次输出独占且只占用一行。

2、数据项之间以“，”分隔。

3、涉及统计数字的数据项，以ave/max/min/mdev格式输出计算结果

 

#!/bin/bash

 

sleepTime=60

 

logfile=cpu_yjk.log

if [ -f "$logfile" ];

then

        rm cpu_yjk.log

fi

 

exec 1>$logfile

 

processName="watchCpu.sh"

title="load"

coretitle=`mpstat | grep -o -e '%.*'`

 

#print title

printf "%s," `date +%Y-%m-%d_%H:%M:%S`

printf "%6s," $title

printf "%12s(ave/max/min/mdev)," $coretitle

printf "%12s(ave/max/min/mdev)," $processName

printf "\n"

 

while true

do

        load=`uptime | awk -F: '{print $NF}'|awk -F, '{print $1}'`

        corevalue=`mpstat -P ALL|grep -v -i ALL|grep -o -e '[0-9][0-9]*\..*\.[0-9]*[0-9]$'|awk -v col=9 -f cal.awk`

        processValue=`ps aux |grep $processName|grep -v grep|awk '{print $3}'|awk -v col=1 -f cal.awk`

 

        #print value

        printf "%s," `date +%Y-%m-%d_%H:%M:%S`

        printf "%6.2f," $load

        printf "%30s," $corevalue

        printf "%30s," $processValue

        printf "\n"

 

        sleep $sleepTime

done

 

附录——指标项详细分析

一、      load average

1.      指标项含义：

Load：简单的说是进程队列的长度(WikiPedia：the system Load is a measure of the amount of work that a compute system is doing）。

Load Average:一段时间（1分钟、5分钟、15分钟）内平均Load。

即一段时间内正在使用和等待使用CPU的统计信息（平均任务数）。

 

Unix系统，队列长度主要看：正在执行的进程数、等待的进程数。

Linux系统，在Unix之上增加不可中断的进程数。

2.      察看命令：

uptime： load average后的三个数字依此是过去1min，5min，15min的平均负载。

w：同时显示已登录的用户。打开2个shell标签页，显示两个shell端。

cat /proc/loadavg

top：占用资源较多，不适合写入脚本。

tload 画图形

procinfo： ubuntu 12.04 需要单独安装。Suse系统默认没有安装。

3.      指标项取值：

单个CPU核心上的负载为1，表示表示系统没有剩余资源，同时恰好没有等待资源。

但是，任何的异常都会导致出现排队等待序列，进入恶性循环。

一般认为，单核的理想附负载值为0.7，也有0.5-0.6一说。

若多个CPU，则计算每个CPU逻辑核心的平均值。

多核处理器的理想负载值：0.7*逻辑CPU个数。

逻辑CPU个数查看命令：grep 'model name' /proc/cpuinfo | wc -l

二、  CPU占有率

1.      指标细分

CPU使用率从以下3个方面监控：

1、具体进程的CPU占有率及其随时间的变化规律（纵向对比）。

         不能超过特定数值或百分比。

2、各CPU独立内核CPU占有率分配情况（横向对比）。

         横向分配均匀。

2.      查看CPU核心的运行情况

主要有sar，mpstat，vmstat，top。

其中，top消耗资源较多，不适合在性能期间持续运行。

mpstat可以查看各个CPU核心的负载情况，可以设定刷新时间和次数。比较适合。

sar

linux198:~ # sar 1 3

Linux 2.6.16.46-0.12-smp (linux198)       07/26/12

 

18:03:41          CPU     %user     %nice   %system   %iowait     %idle

18:03:42          all     14.76      0.00      4.09      0.00     81.14

18:03:43          all     13.95      0.00      1.99      0.25     83.81

18:03:44          all      9.31      0.00      5.58      1.36     83.75

Average:          all     12.67      0.00      3.89      0.54     82.90

mpstat

linux39:~ # mpstat -P ALL 3 4

Linux 2.6.16.46-0.12-smp (linux39)         07/26/12

15:35:37     CPU   %user   %nice  %sys  %iowait  %irq  %soft   %steal   %idle    intr/s

15:35:40     all    2.24    0.00    1.29    0.04    0.04    1.41    0.00   94.97   7645.70

15:35:40       0    0.33    0.00    0.33    0.00    0.00    0.00    0.00   99.34      0.00

15:35:40       1    1.66    0.00    1.32    0.00    0.00    0.99    0.00   96.36   1527.81

15:35:40       2    0.00    0.00    0.00    0.00    0.00    0.00    0.00   99.34      5.96

15:35:40       3    6.62    0.00    2.32    0.00    0.00    4.30    0.00   86.75   2905.63

15:35:40       4    0.33    0.00    0.66    0.00    0.00    0.00    0.00   98.68      0.00

15:35:40       5    0.66    0.00    0.33    0.66    0.00    0.33    0.00   97.68    109.27

15:35:40       6    8.28    0.00    5.63    0.00    0.00    5.96    0.00   80.46   2807.95

15:35:40       7    0.33    0.00    0.33    0.00    0.00    0.00    0.00   98.68    289.40

vmstat

linux198:~ # vmstat 1 3

procs  -----------memory---------- - --swap--      -----io----  -system-     -----cpu------

r  b   swpd   free       buff  cache    si  so bi   bo  in    cs    us  sy id  wa st

2  0  4499660 10534364  29408 1725604  0  1  12  14   1    3     23  5 72  0  0

3  0  4499660 10549164  29408 1715324  0  0  0   48  2847  12769 29  12 59  0  0

1  0  4499660 10549500  29408 1715324  0  0  0   0   2157  12800 16  3 81  0  0

  Procs

       r: The number of processes waiting for run time.即load average

  CPU

       These are percentages of total CPU time.

       us: Time spent running non-kernel code. (user time, including nice time)

       sy: Time spent running kernel code. (system time)

       id: Time spent idle. Prior to Linux 2.5.41, this includes IO-wait time.

       wa: Time spent waiting for IO. Prior to Linux 2.5.41, shown as zero.

       st: Time spent in involuntary wait. Prior to Linux 2.6.11, shown as zero.

top

分析%usr ：%sys ：%wio的情况，

 

%usr是指CPU用于执行应用程序百分比，

%sys是指CPU应用执行系统程序（通常是操作系统的系统调用）的百分比，

%wio是指CPU在等待IO的百分比。

 

通常情况下，%sys和%wio都不应该太高，否则就说明应用程序设计不合理，需要分析原因。

 

完成同样功能的应用程序，其CPU占用率应该大致相等，否则说明系统负荷分配不均匀。

对于多CPU的系统，各CPU的占用率也应该大致相等，否则说明系统对CPU资源的使用不均衡，需要优化配置。

总的CPU平均占用率不应该太高，如超过90％，否则说明可能系统性能已经受限于CPU资源。

 

3.      查看进程的CPU运行情况

ps aux

USER  PID %CPU %MEM  VSZ   RSS TTY  STAT  START   TIME COMMAND

root     1  0.0  0.0       780    76  ?      S    Jul13   0:09 init [3]      

root     2  0.0  0.0       0      0   ?      S    Jul13   0:00 [migration/0]

root     3  0.0  0.0       0      0   ?      SN   Jul13   0:00 [ksoftirqd/0]

root     4  0.0  0.0       0      0   ?      S    Jul13   0:00 [migration/1]

root     5  0.0  0.0       0      0   ?      SN   Jul13   0:00 [ksoftirqd/1]

root     6  0.0  0.0       0      0   ?      S    Jul13   0:00 [migration/2]

root     7  0.0  0.0       0      0   ?      SN   Jul13   0:00 [ksoftirqd/2]

linux上进程有5种状态:
1. 运行(正在运行或在运行队列中等待)
2. 中断(休眠中, 受阻, 在等待某个条件的形成或接受到信号)
3. 不可中断(收到信号不唤醒和不可运行, 进程必须等待直到有中断发生)
4. 僵死(进程已终止, 但进程描述符存在, 直到父进程调用wait4()系统调用后释放)
5. 停止(进程收到SIGSTOP, SIGSTP, SIGTIN, SIGTOU信号后停止运行运行)

ps工具标识进程的5种状态码:
D 不可中断 uninterruptible sleep (usually IO)
R 运行 runnable (on run queue)
S 中断 sleeping
T 停止 traced or stopped
Z 僵死 a defunct ("zombie") process

注: 其它状态还包括W(无驻留页), <(高优先级进程), N(低优先级进程), L(内存锁页).

4.      性能测试关注指标及查看命令

性能测试期间，不能有大量僵死进程。

完成同样功能的进程，CPU占有率相近。

关键进程运行状态正常，CPU占有率正常。是否需要特定进程的实时CPU占有率？个人认为不需要，因为，端到端场景中，往往需要多个进程之间协作，关心特定进程的占有率意义不大，关心全部进程占有率工作量太大且无明显意义。只要保证进程状态正常，CPU整体占有率合适且各内核占有率均衡即可。

所以，命令上选择：mpstat和ps aux

三、  CPU信息查看

/proc/cpuinfo查看cpu的参数信息，性能测试时主要关心逻辑内核总数。

 

processor 条目包括这一逻辑处理器的唯一标识符

physical id相同的是同一个物理CPU。

core id相同的是同一个核的超线程。

siblings 条目列出了位于相同物理封装中的逻辑处理器的数量。

 

1.      逻辑CPU总个数：

# cat /proc/cpuinfo | grep “processor” | wc -l

2.      物理CPU个数：

# cat /proc/cpuinfo | grep “physical id” | sort | uniq | wc -l

3.      每个物理CPU中Core的个数：

# cat /proc/cpuinfo | grep “cpu cores” | wc -l

4.      是否为超线程

如果有两个逻辑CPU具有相同的”core id”，那么超线程是打开的。

5.      每个物理CPU中逻辑CPU个数：

# cat /proc/cpuinfo | grep “siblings”

逻辑CPU个数：cat /proc/cpuinfo | grep "processor" | wc -l

物理CPU个数：cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l

 

“siblings”指的是一个物理CPU有几个逻辑CPU

”cpu cores“指的是一个物理CPU有几个核

 

不应该按照flags里是否有 ht 标志来判断系统是否有超线程能力，而应该：

如果“siblings”和“cpu cores”一致，则说明不支持超线程，或者超线程未打开。

如果“siblings”是“cpu cores”的两倍，则说明支持超线程，并且超线程已打开。

6.      查看cpu型号

# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c

2  Intel(R) Core(TM)2 Duo CPU     P8600  @ 2.40GHz

(看到有2个逻辑CPU, 也知道了CPU型号)

7.      查看cpu运行模式

# getconf LONG_BIT

32

(说明当前CPU运行在32bit模式下, 但不代表CPU不支持64bit)

8.      查看cpu是否支持64bit

# cat /proc/cpuinfo | grep flags | grep ' lm ' | wc -l

2

(结果大于0, 说明支持64bit计算. lm指long mode, 支持lm则是64bit)

9.      查看cpu信息概要

#lscpu

Architecture:           i686               #架构686
CPU(s):                  2                   #逻辑cpu颗数是2

Thread(s) per core:  1                #每个核心线程数是1

Core(s) per socket:  2                   #每个cpu插槽核数/每颗物理cpu核数是2

CPU socket(s):        1                    #cpu插槽数是1

Vendor ID:             GenuineIntel    #cpu厂商ID是GenuineIntel

CPU family:            6                     #cpu系列是6

Model:                   23                   #型号23

Stepping:               10                   #步进是10

CPU MHz:               800.000         #cpu主频是800MHz

Virtualization:        VT-x                 #cpu支持的虚拟化技术VT-x

L1d cache:             32K                 #一级缓存，具体为L1数据缓存为32k

L1i cache:             32K                   # 一级缓存，具体为L1指令缓存为32K

L2 cache:              3072K              #二级缓存3072K