CPU基础篇——平均负载【Linux性能优化】

top或者uptime命令查看平均负载

$ uptime 
03:44:21 up 4 days, 15:31, 1 user, load average: 0.63, 0.83, 0.76

03:44:21 // 当前时间 
up 4 days, 15:31  // 系统运行时间 
1 user // 正在登录用户数 
load average: 0.63, 0.83, 0.76   //过去1分钟、5分钟、15分钟的平均负载

平均负载是什么？

平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，它和CPU使用率并没有直接关系。

（平均活跃进程数，直观上的理解就是单位时间内的活跃进程数，但它实际上是活跃进程数的指数衰减平均值。这是系统的一种更快速的计算方式，把它直接当成活跃进程数的平均值也没问题）

比如平均负载为2

在只有2个cpu的系统上，意味着所有的cpu都刚好被完全占用；

在4个cpu的系统上，意味cpu有50%空闲；

而在只有1个cpu的系统中，则意味着有一半的进程竞争不到cpu

注：

可运行状态的进程：是指正在使用CPU或者正在等待CPU的进程（R状态）

不可中断状态的平均进程：正处于内核态关键流程中的进程，并且这些流程是不可打断的。（D状态）

比如最常见的是等待硬件设备的I/O响应。又比如一个进程向磁盘读写数据时，为了保证数据的一致性，在得到磁盘回复前，是不能被其他进程或者中断打断的，这个时候的进程就处于不可中断状态。如果此时的进程被打断了，就容易出现磁盘数据与进程数据不一致的问题。不可中断状态实际上是系统对进程和硬件设备的一种保护机制。

平均负载为多少时合理

平均负载最理想的情况等于cpu个数。

首先要知道系统有几个cpu，这可以通过top命令或者从文件/proc/cpuinfo中读取，如

grep 'model name'  /proc/cpuinfo | wc -l

平均负载有3个数值都要看。三个不同时间间隔的平均值，给我们提供了分析系统负载趋势的数据来源。

比如1分钟的值远小于15分钟的值，就说明系统最近1分钟的负载在减少，而过去15分钟有很大的负载。

在实际生产环境中 ，当平均负载高于CPU数量70%的时候，就应该分析排查负载高的问题。一旦负载过高，就可能导致进程响应变慢，进而影响服务的正常功能。

但这个数字不绝对。最推荐还是把系统的平均负载监控起来，然后根据更多的历史数据，判断负载的变化趋势。当发现负载有明显升高趋势时，比如说负载翻倍了，再去做分析和调查。

平均负载与CPU利用率

平均负载高是否意味着cpu使用率高？

平均负载是指单位时间内，处于可运行状态和不可中断状态的进程数。所有，它不仅包括了正在使用cpu的进程，还包括等待cpu和等到I/O的进程。

CPU使用率，是单位时间内CPU繁忙情况的统计，跟平均负载并不一定完全对应。比如：

• CPU密集型进程，使用大量CPU会导致平均负载升高，此时这两者是一致的；
• I/O密集型进程，等待I/O也会导致平均负载升高，但CPU使用率不一定很高；
• 大量等待CPU的进程调度也会导致平均负载升高，此时的CPU使用率也会比较高

（平均负载高有可能是CPU密集型进程导致的；平均负载高并不一定代表CPU使用率高，还有可能是I/O更繁忙了）

平均负载案例分析

实验前准备

1机器配置：2CPU，8GB内存

2预先按照stress和sysstat包

stress是一个Linux系统压力测试工具，这里用作异常进程模拟平均负载升高的场景。

sysstat包含了常用的Linux性能工具，用来监控和分析系统的性能。我们会用到mpstat和pidstat。

• mpstat是一个常用的多核CPU性能分析工具，用来实时查看每个CPU的性能指标以及所有CPU的平均指标
• pidstat是一个常用的进程性能分析工具，用来实时查看进程的CPU、内存、I/O以及上下文切换等性能指标。

3可以先用uptime 看一下测试之前的平均负载

$ uptime 
load average: 0.11, 0.15, 0.09

场景一：CPU密集型进程

stress 模拟——uptime查看平均负载——mpstat查看每个cpu使用率——pidstat查看具体进程使用率

#第一个终端：模拟一个CPU使用率100%的场景 
$ stress --cpu 1 --timeout 600 
#再开一个终端， -d 参数表示高亮显示变化的区域 
$ watch -d uptime 
..., load average: 1.00, 0.75, 0.39 
#第三个终端 mpstat查看CPU使用率的变化情况 
#-P ALL 表示监控所有CPU,后面数字5表示间隔5秒后输出一组数据 
$ mpstat -P ALL 5 
Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 
13:30:06 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 
13:30:11 all 50.05 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00  49.95 
13:30:11 0    0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 
13:30:11 1  100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00  0.00

从第二个终端看，1分钟的平均负载慢慢增加到1.00，在终端三亦可以看到有个CPU的使用率为100%，但它的iowait为0。说明平均负载升高由于CPU使用率为100%

\

# 间隔5秒后输出一组数据 
$ pidstat -u 5 1 13:37:07 UID PID %usr %system %guest %wait %CPU CPU Command 
13:37:12 0  2962 100.00 0.00  0.00  0.00 100.00 1 stress

可以看到stress进程的CPU使用率为100%

\

场景二：I/O密集型进程

stress 模拟——uptime查看平均负载——mpstat查看每个cpu使用率——pidstat查看具体进程使用率

#stress 模拟I/O压力，即不停地执行sync 
$ stress -i 1 --timeout 600 
#第二个终端 
$ watch -d uptime 
..., load average: 1.06, 0.58, 0.37 
#第三个终端 #显示所有CPU的指标，并在间隔5秒输出一组数据 
$ mpstat -P ALL 5 13 
Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 13:41:28 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 
13:41:33 all 0.21 0.00 12.07 32.67 0.00 0.21 0.00 0.00 0.00 54.84 
13:41:33  0 0.43 0.00 23.87 67.53 0.00 0.43 0.00 0.00 0.00  7.74 
13:41:33  1 0.00 0.00  0.81  0.20 0.00 0.00 0.00 0.00 0.00 98.99

1分钟平均负载慢慢到1.06，其中一个CPU系统的使用率23.87，iowait搞到67.53%，说明平均负载的升高是由于iowait的升高

# 间隔5秒后输出一组数据，-u 表示CPU指标 
$ pidstat -u 5 1 
Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 
13:42:08 UID PID %usr %system %guest %wait %CPU CPU Command 13:42:13  0 104  0.00 3.39  0.00  0.00  3.39  1  kworker/1:1H 
13:42:13  0 109  0.00 0.40  0.00  0.00  0.40  0  kworker/0:1H 
13:42:13  0 2997 2.00 35.53  0.00  3.99  37.52  1  stress 
13:42:13  0 3057 0.00 0.40  0.00  0.00  0.40  0  pidstat

可以发现，还是stress 进程导致的

场景三：大量进程的场景

stress 模拟——uptime查看平均负载——pidstat查看具体进程使用率

#stress 模拟8个进程，超出了CPU运行能力就会出现等待CPU的进程 
$ stress -c 8 --timeout 600 
#系统只有两个CPU 
$ uptime 
..., load average: 7.97, 5.93, 3.02 
# 间隔5秒后输出一组数据 
$ pidstat -u 5 1 14:23:25 UID PID %usr %system %guest %wait %CPU CPU Command 
14:23:30 0  3190  25.00  0.00  0.00 74.80 25.00 0 stress 
14:23:30 0  3191  25.00  0.00  0.00 75.20 25.00 0 stress 
14:23:30 0  3192  25.00  0.00  0.00 74.80 25.00 1 stress 
14:23:30 0  3193  25.00  0.00  0.00 75.00 25.00 1 stress 
14:23:30 0  3194  24.80  0.00  0.00 74.60 24.80 0 stress 
14:23:30 0  3195  24.80  0.00  0.00 75.00 24.80 0 stress 
14:23:30 0  3196  24.80  0.00  0.00 74.60 24.80 1 stress 
14:23:30 0  3197  24.80  0.00  0.00 74.80 24.80 1 stress 
14:23:30 0  3200  0.00  0.20  0.00  0.20  0.20 0 pidstat

8个进程争抢2个CPU，每个进程等待CPU的时间（%wait列）高达75%