linux性能调优工具
linux性能调优工具
@(博客文章)[linux]
- linux性能调优工具
- 一CPU内存使用情况
- 1vmstat
- 2top待补充
- 二网络
- 1ping
- 2mtr
- 3sar比较各个网卡的性能
- 4ethtool
- 5iperf检查2台机器间的网络带宽
- 6tcpdump检查数据包的传输情况
- 三IO
- 1vmstat
- 2iostart
- 3dmesg
- 一CPU内存使用情况
一、CPU/内存使用情况
1、vmstat
$ vmstat -S M 5
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 566 232 239 0 0 65 824 59 39 4 1 93 1 0
0 3 0 366 232 432 0 0 0 25929 2638 2776 14 14 43 28 0
2 1 0 241 232 543 0 0 26 38110 2123 1316 75 11 0 14 0
3 0 0 78 232 543 0 0 0 11784 1558 1028 80 4 16 0 0
0 0 0 189 232 543 0 0 0 142 1052 933 70 3 27 1 0
0 0 0 185 232 543 0 0 0 30 500 589 15 1 84 0 0
2 0 0 180 232 544 0 0 0 3 502 595 12 1 87 0 0
0 0 0 508 232 293 0 0 0 74 1161 1036 77 5 18 0 0
0 0 0 626 233 175 0 0 0 150 385 447 2 1 97 0 0
以上各个字段的意思分别是：
好了，命令介绍完毕，现在开始实战讲解每个参数的意思。
r 表示运行队列(就是说多少个进程真的分配到CPU)，当这个值超过了CPU数目，就会出现CPU瓶颈 了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队 列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。
b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。
swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。
free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。
buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M
cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。)
si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。
so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。
bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒
bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。
in 每秒CPU的中断次数，包括时间中断
cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的 数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或 者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核 空间，导致上下文切换，这个是很耗资源，也要尽量避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的 时间少了，CPU没有充分利用，是不可取的。
us 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。
sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。
id 空闲 CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。
wt 等待IO CPU时间。
2、top(待补充)
二、网络
1、ping
2、mtr
Mtr是 Linux中有一个非常棒的网络连通性判断工具，它结合了ping, traceroute,nslookup 的相关特性。
最简单的使用办法：
mtr ip
使用report的模式输出，统计次数为10次
mtr -r 8.8.8.8 -c 10
HOST: gdc-storm01-storm.i.nease.n Loss% Snt Last Avg Best Wrst StDev
1.|-- 192.168.172.3 0.0% 10 0.5 0.5 0.4 0.6 0.0
2.|-- 115.238.118.181 0.0% 10 0.7 0.7 0.6 0.8 0.1
3.|-- 124.160.128.125 0.0% 10 0.5 0.4 0.4 0.5 0.0
4.|-- 124.160.81.173 50.0% 10 9.5 6.1 2.8 9.5 2.7
| `|-- 124.160.82.81
| |-- 124.160.81.177
| |-- 124.160.81.185
| |-- 124.160.82.133
5.|-- 219.158.6.157 50.0% 10 29.1 38.5 26.1 70.8 18.4
| `|-- 219.158.99.209
6.|-- 219.158.3.250 0.0% 10 36.2 29.9 27.3 36.2 2.5
| `|-- 219.158.96.226
7.|-- 219.158.19.89 0.0% 10 46.5 29.5 26.3 46.5 6.0
| `|-- 219.158.96.254
8.|-- 219.158.101.178 0.0% 10 48.4 38.0 34.3 48.4 3.8
| `|-- 219.158.101.166
9.|-- 72.14.215.130 70.0% 10 28.9 29.1 28.7 29.6 0.5
10.|-- 209.85.248.62 50.0% 10 35.9 36.7 32.7 44.0 4.6
11.|-- 209.85.142.185 60.0% 10 114.0 113.5 111.3 114.9 1.5
12.|-- 209.85.247.97 50.0% 10 78.7 78.0 76.0 79.7 1.7
13.|-- 216.239.50.85 50.0% 10 110.2 111.9 108.6 118.1 4.1
14.|-- 72.14.237.177 30.0% 10 116.6 117.9 113.9 133.0 6.8
15.|-- ??? 100.0 10 0.0 0.0 0.0 0.0 0.0
16.|-- google-public-dns-a.googl 20.0% 10 113.7 116.3 113.7 117.4 1.2
mtr -s:
用来指定ping数据包的大小
mtr -a:
来设置发送数据包的IP地址 这个对一个主机由多个IP地址是有用的
3、sar：比较各个网卡的性能
sar 既能报告当前数据，也能报告历史数据。不带选项执行会以1分钟为间隔报告自午夜起当天的CPU利用率。脚本sal收集了这些历史数据，它是sar软件包的一部分，必须设置为定期从cron里运行。sar把自已收集的数据以二进制格式保存在/var/log/sa里??
sar 命令行的常用格式： sar [options] [-o file] t [n]
options 为命令行选项，sar命令的选项很多，下面只列出常用选项：
-A：所有报告的总和。
-u：CPU利用率
-v：进程、I节点、文件和锁表状态。
-d：硬盘使用报告。
-r：没有使用的内存页面和硬盘块。
-g：串口I/O的情况。
-b：缓冲区使用情况。
-a：文件读写情况。
-c：系统调用情况。
-R：进程的活动情况。
-y：终端设备活动情况。
-w：系统交换活动。
4、ethtool
检查网卡是否工作正常，是否全双工，速度设置是否合理等。
5、iperf：检查2台机器间的网络带宽
其中一台充当服务器：
# iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[ 4] local 10.171.94.155 port 5001 connected with 10.171.29.191 port 46455
------------------------------------------------------------
Client connecting to 10.171.29.191, TCP port 5001
TCP window size: 143 KByte (default)
------------------------------------------------------------
[ 6] local 10.171.94.155 port 52215 connected with 10.171.29.191 port 5001
[ ID] Interval Transfer Bandwidth
[ 6] 0.0-10.0 sec 664 MBytes 557 Mbits/sec
[ 4] 0.0-10.0 sec 466 MBytes 390 Mbits/sec
另一台充当客户端：
# iperf -c 10.171.94.155 -f m -d
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 0.08 MByte (default)
------------------------------------------------------------
------------------------------------------------------------
Client connecting to 10.171.94.155, TCP port 5001
TCP window size: 0.10 MByte (default)
------------------------------------------------------------
[ 4] local 10.171.29.191 port 46455 connected with 10.171.94.155 port 5001
[ 5] local 10.171.29.191 port 5001 connected with 10.171.94.155 port 52215
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 466 MBytes 390 Mbits/sec
[ 5] 0.0-10.0 sec 664 MBytes 555 Mbits/sec
6、tcpdump：检查数据包的传输情况
# tcpdump port 8649
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
20:43:11.396729 IP master.38498 > slave1.8649: UDP, length 136
20:43:11.396746 IP master.38498 > slave1.8649: UDP, length 64
20:43:11.397101 IP master.38498 > slave1.8649: UDP, length 136
20:43:11.397105 IP master.38498 > slave1.8649: UDP, length 64
20:43:11.397107 IP master.38498 > slave1.8649: UDP, length 136
20:43:11.397108 IP master.38498 > slave1.8649: UDP, length 80
20:43:11.397109 IP master.38498 > slave1.8649: UDP, length 64
20:43:11.397110 IP master.38498 > slave1.8649: UDP, length 144
20:43:11.397111 IP master.38498 > slave1.8649: UDP, length 68
20:43:11.397112 IP master.38498 > slave1.8649: UDP, length 156
20:43:11.397114 IP master.38498 > slave1.8649: UDP, length 188
20:43:11.397115 IP master.38498 > slave1.8649: UDP, length 92
20:43:11.397116 IP master.38498 > slave1.8649: UDP, length 88
还可以使用host等参数。
三、IO
1、vmstat
vmstat也有io的信息，请见CPU/内存部分
2、iostart
常用iostat -xk 1
# iostat
Linux 2.6.32-431.17.1.el6.x86_64 (master) 03/13/2015 _x86_64_ (1 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
4.73 0.00 3.07 33.99 0.00 58.22
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
xvda 206.31 292.48 2301.51 176511452 1388963336
xvdb 10.24 69.64 645.59 42029194 389614304
[root@master ~]#
[root@master ~]#
[root@master ~]# iostat -m -x -d 5
Linux 2.6.32-431.17.1.el6.x86_64 (master) 03/13/2015 _x86_64_ (1 CPU)
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
xvda 0.16 115.94 34.57 171.74 0.14 1.12 12.57 4.92 23.83 1.87 38.49
xvdb 0.00 71.55 1.09 9.14 0.03 0.32 69.88 0.89 87.38 0.89 0.91
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
xvda 0.00 0.00 0.00 0.81 0.00 0.00 8.00 0.00 4.75 1.75 0.14
xvdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
3、dmesg
输出详细的错误信息，常见的信息如下：
type=1400 audit(1425645012.364:7): avc: denied { setattr } for pid=1318 comm="rrdtool" name="fontconfig" dev=xvda1 ino=1049117 scontext=unconfined_u:system_r:httpd_t:s0 tcontext=system_u:object_r:fonts_cache_t:s0 tclass=dir