Linux 系统性能分析工具图解读
最近看了 Brendan Gregg 大神著名的 Linux Performance Observability Tools，这么好的资料不好好学习一下实在是浪费了，又找到了大神的 ppt 和 演讲（需爬墙），于是把相关的命令和概念连预习，学习，复习走了一遍。
首先学习的是大神提出的 Basic Tool 有如下几个：
uptime
top （htop）
mpstat
iostat
vmstat
free
ping
nicstat
dstat
uptime
uptime 比较重要的能显示当前系统的负载状态，但是这个负载究竟是什么意思呢？查了一些资料负载指的是当前可运行的程序加上正在运行的程序再加上等待 IO 的程序，比如现在运行着一个，一个等待运行，还有一个等待 IO 那么负载就是3. uptime 后面三个数分别是 1min， 5min 和 15min 的负载平均值，由于内核用了一个指数平滑的平均算法，这个值不能直接反应当前等待的进程数。此外这个值没对多核进行 normalization 所以单核情况下当负载是 1 的时候说明 cpu 满载了，但是对于 4 核 cpu 刚到满负载的 25%。 一般情况下这个值越大就说明等待 CPU 的进程越多，如果大于核数就说明有进程在等待 CPU，需要看一下程序的问题或者考虑加机器了。另外即使负载过载了也不一定说明 CPU 的利用率高，因为很可能是大量的请求 IO 的进程在等待，像一些数据库服务，所以看完负载后还要针对应用场景综合考量。
top & htop
top 其实是一个相当全面的分析了还是事实的，其他很多命令能拿到的数据，top 一个命令就可以拿到。但是他的一个问题就是本身的 overhead 比较大，如果系统负载本身就很大那么可能就会卡住了。此外 top 可能会忽视掉那些生命周期很短的程序。top 的 manual 里详细介绍了每个指标的意义，翻看一下还是很有收获的。其中比较要关注的有 wa（io wait）,查看是不是你的 IO 是瓶颈，还有 st (time stolen from this vm by the hypervisor) 这个指标会出现在虚拟机里的系统中，表示的是你的虚拟机在等待真实物理机的 CPU 资源的时间。如果这个值很高的话说明你的服务提供商的 CPU 资源有限你没抢过别人，很有可能使服务商超卖了。碰到这种情况要么打客服投诉，或者多掏点银子找个靠谱的运营商吧。
htop 是 top 的改进版，带着各种颜色表示和百分比进度条，以及更丰富的功能，小伙伴们可以尝试一下。
mpstat
mpstat 可以显示出每个 CPU 核心的工作情况，其实也可以在 top 里输入 1 看到。通过这个命令我们可以观察是不是存在负载不均的现象，某个核心跑满了，另一个还在闲着，造成整体性能的下降。
iostat
加上 -x 参数后可以看到几乎全部的 io 指标，包括 tps， 请求 queue 的平均长度，平均处理时间， 磁盘带宽利用率等等。每个指标 manual 中都有详细的解释。
vmstat & free
vmstat 是一个展示内存整体使用情况的命令，其中要关注一下 swpd 和 swap 的 in/out 。如果这一部分的数值过大，会频繁的 IO 造成性能下降，要么看看是不是程序内存泄露了，要么就加内存吧。 memory 里的 buffer 指的是写磁盘缓冲区， 而 cache 可以当成是读文件的缓冲区。free也是类似的功能，不过只展示内存部分的内容。
ping
这个相对来说简单一些，主要反映了主机间的延迟和连通性，很多时候也只能告诉我们这些了。可以尝试一下 hping 有着指定端口，高级 tracerout 的功能。
nicstat
一个和 iostat 类似，不过是针对网卡的命令。
dstat
一个综合了cpu、 memory、 IO、 network 的工具，可以事实展示当前的系统资源利用情况。
以上就是最基础的命令了，高级一些的命令有：
sar
netstat
pidstat
strace
tcpdump
blktrace
iotop
slabtop
sysctl
/proc
第一篇在这里
第一篇讲了一些最基础的命令了，接下来在研究研究高级的命令：
sar
netstat
pidstat
strace
tcpdump
blktrace
iotop
slabtop
sysctl
/proc
sar
sar 是 System Activity Reporter 的意思，这是一个强大到发指的工具，在第一篇中提到的那些工具的功能（cpu、 mem、 disk、 net），基本上 sar 都可以覆盖到，不信的话可以试一下 sar -A 1 1 看一下它都统计了哪些东西。此外 sar 可以周期性的执行统计，很多系统级别的监控都是通过 sar 来做的。淘宝还专门自己开发了一个 tsar 在原有的系统级别的监控上增加了对应用的监控。
netstat
这个命令也是和网络相关的，可以查看 socket 的连接信息，比如建立了哪些 TCP 连接，他们的状态是怎样的，一个进程有多少链接。通常这个命令后面都会跟着 grep 或者 awk 的命令进行进一步处理。以至于有的 awk 的教程都会以 netstat 的输出处理作为样例，比如耗子叔叔的 awk 简明教程。此外这个命令还有一个 -s 的参数可以统计不同的协议的数据包信息。
pidstat
其实要不是看到大神说有这个命令，我还以为这个命令是 ps 的全称。其实展示的东西也和 ps 类似，主要的区别在于 ps 只是一次提供系统进程状态的一个快照，pidstat# 可以指定进程提供定时多次的统计信息，相当于你可以更细粒度的 ps 了。这也是做监控的一个很好的工具，可以针对特殊进程特殊关照。
strace
其实感觉 strace 是一个更偏针对应用的性能工具，他可以统计出进程进行了哪些系统调用，处理了哪些信号。也因此 strace 是一个分析程序实现的一个很好的工具，比如说你想知道 pidstat 中的信息都是从哪里获得的就 strace pidstat |& grep open 就可以知道它是打开了哪些文件获取到信息的。由于 strace 会将输出打到标准错误中所以管道处理要记得加上 & 。这个命令是很强大，但问题是也及其消耗性能，一般情况下慢一个数量级还是会有的，所以只是分析的时候用一下，正常执行就不要了。
tcpdump
大名鼎鼎的 tcpdump 可以将经过网卡的数据包保存下来一份以供 wireshark 这类软件进一步进行分析。如果愿意的话开启网卡混杂模式也可以捕获同一网络上其他机器的数据包，也是黑客很喜欢的工具。和 strace 类似， tcpdump 的功能很强大，即使开了 filter 功能也很消耗性能，一般的生产机如果流量大的话开启 tcpdump还是吃不消的。当然有一些神秘的组织是需要获取网络包的完整备份的，他们大概是用专门的硬件完成的吧。
blktrace
其实这个命令用 btrace 展示会更好一些，看名字就知道是 strace 的 io 版，可以实时的展示每次磁盘 IO 请求的内容，耗时，发生位置等等很多东西，不过带 trace 的命令一般都比较耗性能。
iotop
和上个命令类似，一看就是 top 的 io 版，简洁明了，包括展示都和 top 很类似，试一下就知道是怎么回事了。
slabtop
其实只要知道 slab 是个什么东西，这个命令就很好理解了。slab 是对象缓冲池，将一些常用的小的对象结构再释放后缓存起来，而不是直接交给系统回收，这样可以避免频繁的小对象找系统申请内存造成性能下降，知道这个再看 这条命令就很轻松了。
sysctl
这里面是一些很有讲究的系统参数的设置，很多参数的设置都会对服务器的性能产生很大的影响。这也是个水很深的配置文件，比如 tcpreuse、tcprecycle 这些服务器的重要配置都在这里面。这里面的配置估计也能讲上个几天几夜。还是先 sysctl -a 看一下感受感受吧。
/proc
其实上述诸多的工具都是从这个文件加下面读取文件做展示的，不过真要自己解析这里面的文件还是蛮耗功夫的，所以还是好好用一下上面的那些命令吧。不过如果你对那些命令是如何实现的可以配合着 strace 来探索这里面的奥秘。