故障排查——负载Load过高

本篇将介绍负载过高的处理方案。

负载

在Linux系统中，uptime、w、top等命令都会有系统平均负载load average的输出:

产生原因

负载受到多个因素影响，带宽、系统硬件配置、内核参数、应用程序等。

排查步骤

在查看了top命令所显示的状态后，需要依据其来做优化，但top命令显示的只是表象，所以我们可以通过iostat或者vmstat命令进一步的观察。

1. 查看系统负载

• procs
  r 列表示运行和等待cpu时间片的进程数，如果长期大于1，说明cpu不足，需要增加cpu。
  b 列表示在等待资源的进程数，比如正在等待I/O、或者内存交换等。

• cpu 表示cpu的使用状态
  us 列显示了用户方式下所花费 CPU 时间的百分比。us的值比较高时，说明用户进程消耗的cpu时间多，但是如果长期大于50%，需要考虑优化用户的程序。
  sy 列显示了内核进程所花费的cpu时间的百分比。这里us + sy的参考值为80%，如果us+sy 大于 80%说明可能存在CPU不足。
  wa 列显示了IO等待所占用的CPU时间的百分比。这里wa的参考值为30%，如果wa超过30%，说明IO等待严重，这可能是磁盘大量随机访问造成的，也可能磁盘或者磁盘访问控制器的带宽瓶颈造成的(主要是块操作)。
  id 列显示了cpu处在空闲状态的时间百分比

• system 显示采集间隔内发生的中断数
  in 列表示在某一时间间隔中观测到的每秒设备中断数。
  cs列表示每秒产生的上下文切换次数，如当 cs 比磁盘 I/O 和网络信息包速率高得多，都应进行进一步调查。

• memory
  swpd 切换到内存交换区的内存数量(k表示)。如果swpd的值不为0，或者比较大，比如超过了100m，只要si、so的值长期为0，系统性能还是正常
  free 当前的空闲页面列表中内存数量(k表示)
  buff 作为buffer cache的内存数量，一般对块设备的读写才需要缓冲。
  cache: 作为page cache的内存数量，一般作为文件系统的cache，如果cache较大，说明用到cache的文件较多，如果此时IO中bi比较小，说明文件系统效率比较好。

• swap
  si 由内存进入内存交换区数量。
  so由内存交换区进入内存数量。

• I/O
  bi 从块设备读入数据的总量（读磁盘）（每秒kb）。
  bo 块设备写入数据的总量（写磁盘）（每秒kb）
  这里我们设置的bi+bo参考值为1000，如果超过1000，而且wa值较大应该考虑均衡磁盘负载，可以结合iostat输出来分析。

2. 查看磁盘负载
   
   rrqm/s: 每秒进行 merge 的读操作数目。即 delta(rmerge)/s
   wrqm/s: 每秒进行 merge 的写操作数目。即 delta(wmerge)/s
   r/s: 每秒完成的读 I/O 设备次数。即 delta(rio)/s
   w/s: 每秒完成的写 I/O 设备次数。即 delta(wio)/s
   rsec/s: 每秒读扇区数。即 delta(rsect)/s
   wsec/s: 每秒写扇区数。即 delta(wsect)/s
   rkB/s: 每秒读K字节数。是 rsect/s 的一半，因为每扇区大小为512字节。(需要计算)
   wkB/s: 每秒写K字节数。是 wsect/s 的一半。(需要计算)
   avgrq-sz: 平均每次设备I/O操作的数据大小 (扇区)。delta(rsect+wsect)/delta(rio+wio)
   avgqu-sz: 平均I/O队列长度。即 delta(aveq)/s/1000 (因为aveq的单位为毫秒)。
   await: 平均每次设备I/O操作的等待时间 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)
   svctm: 平均每次设备I/O操作的服务时间 (毫秒)。即 delta(use)/delta(rio+wio)
   %util: 一秒中有百分之多少的时间用于 I/O 操作，或者说一秒中有多少时间 I/O 队列是非空的。即 delta(use)/s/1000 (因为use的单位为毫秒)

如果 %util 接近 100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘可能存在瓶颈。idle小于70% IO压力就较大了，一般读取速度有较多的wait。同时可以结合vmstat 查看查看b参数(等待资源的进程数)和wa参数(IO等待所占用的CPU时间的百分比,高过30%时IO压力高)。

也可以输入ps -axjf指令查看进程状态。查看STAT列是否存在 D 状态进程。（D 状态是指不可中断的睡眠状态。该状态进程无法被杀死，也无法自行退出。）

若出现较多 D 状态进程，通过恢复该进程依赖资源或重启系统解决(万能)。

健康范围

负荷 1.00 说明系统已经没有剩余的资源了。在实际情况中 ，有经验的系统管理员都会将这条线划在 0.70（在多核处理中，你的系统均值不应该高于处理器核心的总数量）：

“需要进行调查法则”： 如果长期你的系统负载在 0.70 上下，那么你需要在事情变得更糟糕之前，花些时间了解其原因。

“现在就要修复法则”：1.00 。 如果你的服务器系统负载长期徘徊于 1.00，那么就应该马上解决这个问题。否则，你将半夜接到你上司的电话，这可不是件令人愉快的事情。

“凌晨三点半锻炼身体法则”：5.00。 如果你的服务器负载超过了 5.00 这个数字，那么你将失去你的睡眠，还得在会议中说明这情况发生的原因，总之千万不要让它发生。