如何使用十条命令在一分钟内检查Linux服务器性能
如何使用十条命令在一分钟内检查Linux服务器性能
（一）前言
如果你的Linux服务器突然负载暴增，报警短信快发爆你的手机，如何在最短时间内找出Linux性能问题所在？来看Netflix性能工程团队的这篇博文，看它们通过十条命令在一分钟内对机器性能问题进行诊断。
通过执行以下命令，可以在1分钟内对系统资源使用情况有个大致的了解。
uptime
dmesg | tail
vmstat 1
mpstat -P ALL 1
pidstat 1
iostat -xz 1
free -m
sar -n DEV 1
sar -n TCP,ETCP 1
top（二）详细描述
uptime
[root@localhost ~]# uptime
11:37:04 up 20 days, 19:45, 2 users, load average: 0.00, 0.03, 0.05这个命令可以快速查看机器的负载情况。在Linux系统中，这些数据表示等待CPU资源的进程和阻塞在不可中断IO进程（进程状态为D）的数量。这些数据可以让我们对系统资源使用有一个宏观的了解。
命令的输出分别表示1分钟、5分钟、15分钟的平均负载情况。通过这三个数据，可以了解服务器负载是在趋于紧张还是趋于缓解。如果1分钟平均负载很高，而15分钟平均负载很低，说明服务器正在命令高负载情况，需要进一步排查CPU资源都消耗在了哪里。反之，如果15分钟平均负载很高，1分钟平均负载较低，则有可能是CPU资源紧张时刻已经过去。
上面例子中的输出，可以看见最近1分钟的平均负载非常高，且远高于最近15分钟负载，因此我们需要继续排查当前系统中有什么进程消耗了大量的资源。可以通过下文将会介绍的vmstat、mpstat等命令进一步排查。
demesg | tail
$ dmesg | tail
[1880957.563150] perl invoked oom-killer: gfp_mask=0x280da, order=0, oom_score_adj=0
[...]
[1880957.563400] Out of memory: Kill process 18694 (perl) score 246 or sacrifice child
[1880957.563408] Killed process 18694 (perl) total-vm:1972392kB, anon-rss:1953348kB, file-rss:0kB
[2320864.954447] TCP: Possible SYN flooding on port 7001. Dropping
request. Check SNMP counters.该命令会输出系统日志的最后10行。示例中的输出，可以看见一次内核的oom kill和一次TCP丢包。这些日志可以帮助排查性能问题。千万不要忘了这一步。
vmstat 1
$ vmstat 1
procs ---------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
34 0 0 200889792 73708 591828 0 0 0 5 6 10 96 1 3 0 0
32 0 0 200889920 73708 591860 0 0 0 592 13284 4282 98 1 1 0 0
32 0 0 200890112 73708 591860 0 0 0 0 9501 2154 99 1 0 0 0
32 0 0 200889568 73712 591856 0 0 0 48 11900 2459 99 0 0 0 0
32 0 0 200890208 73712 591860 0 0 0 0 15898 4840 98 1 1 0 0
^Cvmstat 命令，每行会输出一些系统核心指标，这些指标可以让我们更详细的了解系统状态。后面跟的参数1，表示每秒输出一次统计信息，表头提示了每一列的含义，这几介绍一些和性能调优相关的列：
r：等待在CPU资源的进程数。这个数据比平均负载更加能够体现CPU负载情况，数据中不包含等待IO的进程。如果这个数值大于机器CPU核数，那么机器的CPU资源已经饱和。
free：系统可用内存数（以千字节为单位），如果剩余内存不足，也会导致系统性能问题。下文介绍到的free命令，可以更详细的了解系统内存的使用情况。
si，so：交换区写入和读取的数量。如果这个数据不为0，说明系统已经在使用交换区（swap），机器物理内存已经不足。
us, sy, id, wa, st：这些都代表了CPU时间的消耗，它们分别表示用户时间（user）、系统（内核）时间（sys）、空闲时间（idle）、IO等待时间（wait）和被偷走的时间（stolen，一般被其他虚拟机消耗）。
上述这些CPU时间，可以让我们很快了解CPU是否出于繁忙状态。一般情况下，如果用户时间和系统时间相加非常大，CPU处于忙于执行指令。如果IO等待时间很长，那么系统的瓶颈可能在磁盘IO。
示例命令的输出可以看见，大量CPU时间消耗在用户态，也就是用户应用程序消耗了CPU时间。这不一定是性能问题，需要结合r队列，一起分析。
mpstat -P ALL 1
11:53:47 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle
11:53:50 AM all 0.67 0.00 1.17 0.00 0.00 0.00 0.00 0.00 98.16
11:53:50 AM 0 0.34 0.00 1.34 0.00 0.00 0.00 0.00 0.00 98.32
11:53:50 AM 1 0.67 0.00 1.34 0.00 0.00 0.00 0.00 0.00 97.99
11:53:50 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle
11:53:53 AM all 1.01 0.00 3.35 0.00 0.00 0.00 0.00 0.00 95.64
11:53:53 AM 0 2.00 0.00 6.33 0.00 0.00 0.00 0.00 0.00 91.67
11:53:53 AM 1 0.34 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.66
11:53:53 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle
11:53:56 AM all 0.17 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.83
11:53:56 AM 0 0.00 0.00 0.33 0.00 0.00 0.00 0.00 0.00 99.67
11:53:56 AM 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
11:53:56 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle
11:53:59 AM all 0.00 0.00 0.17 0.00 0.00 0.00 0.00 0.00 99.83
11:53:59 AM 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
11:53:59 AM 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
11:53:59 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle
11:54:02 AM all 0.50 0.00 1.34 0.00 0.00 0.00 0.00 0.00 98.16
11:54:02 AM 0 0.34 0.00 1.35 0.00 0.00 0.00 0.00 0.00 98.32
11:54:02 AM 1 0.67 0.00 1.34 0.00 0.00 0.00 0.00 0.00 97.99该命令可以显示每个CPU的占用情况，如果有一个CPU占用率特别高，那么有可能是一个单线程应用程序引起的。从数据中可以看出，服务器CPU是双核的，每个具体的数据展示可以很清楚的展示出来。
pidstat 1
$ pidstat 1
Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU)
07:41:02 PM UID PID %usr %system %guest %CPU CPU Command
07:41:03 PM 0 9 0.00 0.94 0.00 0.94 1 rcuos/0
07:41:03 PM 0 4214 5.66 5.66 0.00 11.32 15 mesos-slave
07:41:03 PM 0 4354 0.94 0.94 0.00 1.89 8 java
07:41:03 PM 0 6521 1596.23 1.89 0.00 1598.11 27 java
07:41:03 PM 0 6564 1571.70 7.55 0.00 1579.25 28 java
07:41:03 PM 60004 60154 0.94 4.72 0.00 5.66 9 pidstat
07:41:03 PM UID PID %usr %system %guest %CPU CPU Command
07:41:04 PM 0 4214 6.00 2.00 0.00 8.00 15 mesos-slave
07:41:04 PM 0 6521 1590.00 1.00 0.00 1591.00 27 java07:41:04 PM 0 6564 1573.00 10.00 0.00 1583.00 28 java
07:41:04 PM 108 6718 1.00 0.00 0.00 1.00 0 snmp-pass
07:41:04 PM 60004 60154 1.00 4.00 0.00 5.00 9 pidstat
^Cpidstat命令输出进程的CPU占用率，该命令会持续输出，并且不会覆盖之前的数据，可以方便观察系统动态。如上的输出，可以看见两个JAVA进程占用了将近1600%的CPU时间，既消耗了大约16个CPU核心的运算资源。