Linux系统综合分析和诊断工具
25个Linux 系统性能分析工具：https://www.cnblogs.com/peter316/p/6287212.html
atop
atop 安装
wget https://www.atoptool.nl/download/atop-2.3.0-1.el7.x86_64.rpm
sudo rpm -ivh atop-2.3.0-1.el7.x86_64.rpm
atop 使用
PRC | sys 0.01s | user 0.00s | | #proc 16 | #trun 1 | #tslpi 17 | | #tslpu 0 | #zombie 0 | clones 22 | | no procacct |
CPU | sys 3% | user 13% | irq 1% | | idle 759% | wait 26% | | | steal 0% | guest 0% | curf 2.13GHz | curscal ?% |
cpu | sys 0% | user 2% | irq 0% | | idle 95% | cpu000 w 3% | | | steal 0% | guest 0% | curf 2.13GHz | curscal ?% |
cpu | sys 1% | user 2% | irq 0% | | idle 92% | cpu003 w 6% | | | steal 0% | guest 0% | curf 2.13GHz | curscal ?% |
cpu | sys 0% | user 2% | irq 0% | | idle 92% | cpu007 w 6% | | | steal 0% | guest 0% | curf 2.13GHz | curscal ?% |
cpu | sys 0% | user 2% | irq 0% | | idle 90% | cpu005 w 8% | | | steal 0% | guest 0% | curf 2.13GHz | curscal ?% |
cpu | sys 0% | user 2% | irq 0% | | idle 96% | cpu001 w 2% | | | steal 0% | guest 0% | curf 2.13GHz | curscal ?% |
cpu | sys 0% | user 2% | irq 0% | | idle 97% | cpu004 w 1% | | | steal 0% | guest 0% | curf 2.13GHz | curscal ?% |
cpu | sys 1% | user 2% | irq 0% | | idle 98% | cpu002 w 0% | | | steal 0% | guest 0% | curf 2.13GHz | curscal ?% |
cpu | sys 0% | user 1% | irq 0% | | idle 98% | cpu006 w 0% | | | steal 0% | guest 0% | curf 2.13GHz | curscal ?% |
CPL | avg1 0.71 | avg5 0.48 | | avg15 0.43 | | | csw 29197 | intr 56511 | | | numcpu 8 | |
MEM | tot 62.7G | free 1.6G | cache 22.5G | dirty 0.2M | buff 549.2M | slab 1.2G | slrec 1.1G | shmem 199.2M | shrss 0.0M | vmbal 0.0M | hptot 0.0M | hpuse 0.0M |
SWP | tot 97.7G | free 97.4G | | | | | | | | | vmcom 43.1G | vmlim 129.0G |
DSK | sda | busy 20% | read 0 | | write 134 | KiB/r 0 | KiB/w 14 | MBr/s 0.0 | MBw/s 0.2 | | avq 15.86 | avio 14.7 ms |
NET | transport | tcpi 3 | tcpo 7 | udpi 0 | udpo 0 | tcpao 0 | tcppo 0 | tcprs 0 | tcpie 0 | tcpor 0 | udpnp 0 | udpie 0 |
NET | network | ipi 33 | ipo 5 | | ipfrw 0 | deliv 3 | | | | | icmpi 0 | icmpo 0 |
NET | eth0 0% | pcki 33 | pcko 5 | sp 10 Gbps | si 4 Kbps | so 5 Kbps | coll 0 | mlti 0 | erri 0 | erro 0 | drpi 0 | drpo 0 |
PID CID SYSCPU USRCPU VGROW RGROW RDDSK WRDSK RUID EUID ST EXC THR S CPUNR CPU CMD 1/1
23192 8d9f0352366a 0.01s 0.00s 2360K 332K 0K 0K heyongxi heyongxi -- - 1 R 5 0% atop
62 8d9f0352366a 0.00s 0.00s 0K 0K 0K 0K root root -- - 3 S 7 0% rsyslogd
16981 8d9f0352366a 0.00s 0.00s 0K 0K 0K 0K heyongxi heyongxi -- - 1 S 7 0% sshdatop参数说明
PRC:该列展示整个系统的性能状况；
sys:过去10s所有的进程在内核态运行的时间总和
usr:过去10s所有的进程在用户态的运行时间总和
proc:进程总数
trun:过去10s转换的进程数
zombie：过去10s僵死进程的数量
exit：在10s采样周期期间退出的进程数量
CPU: cpu列展示了服务器的CPU整体的一个状态信息，包括内核和用户所占的比例、处理中断所占的比例、CPU的处于空闲下比例（这里是100%*cpu核心数，CPU有时候也会因为由于磁盘性能问题出现等待的空闲）
sys:cpu在处理进程时处于内核态的时间所占的比例
usr:cpu在处理进程时处于用户态的时间所占的比例
irq:cpu在处理进程的中断请求所占的实际比例
idle:cpu处于空闲状态下的时间比例（除了本身空闲，还有比如等待磁盘io的情况下也会处于空闲状态）
cpu:每个核心的状态信息，和总的CPU信息一样，每列加起来的总和就是总的CPU的状态信息。
CPL:cpl也反应了服务器整体的性能，展示信息包括进程等待队列数，分别从过去1分钟、5分钟、15分钟的采样信息。
avg1:过去1分钟进程等待队列数
avg5:过去5分钟进程等待队列数
avg15:过去15分钟进程等待队列数
csw(context swapping)：上下文交换次数
intr(interrupt):中断发生的次数
numcpu:cpu的核心数
mem:该列主要展示内存的使用信息。
tot：物理内存总量
free：空闲内存的大小（不能单单从这个字段就判断内存不足，还需要参考free -m中的-/+ buffers/cache:free因为这块的内容随时就可以拿过来使用，还可以从是否有使用Swap来判断是否内存不足）
cache：用于页缓存的内存大小
dirty：内存中的脏页大小
buff：用于文件缓存的内存大小
slab：系统内核占用的内存大小
SWP：交换空间使用情况
tot:交换空间总量
free:交换空间剩余空间总量
PAG列：虚拟内存分页情况
swin:换入内存页数
swout：换出内存页数
LVM/DSK:每个分区信息以一列来进行展示
busy：磁盘忙时所占比例
read、KiB/r 、MBr/s：每秒读的请求数和请求的kb、mb数
write、KiB/w 、MBr/w：每秒写的请求数和请求的kb、mb数
avq:磁盘平均队列长度（根据实际的监控该列好像是磁盘平均请求数avgrq）
avio:磁盘的平均io时间
NET:展示了传输层（TCP/UDP）、网络层（ip）、网络接口的网络传输信息。
transport：传输层（TCP/UDP）的数据输入输出的展示，例如在服务器的内部进程之间的数据传输就是在传输层展示，以为还不需要往下通过网络进行传输。
network：网络层（ip）的数据输入输出的展示；
eth0：默认的网络接口的数据输入输出的展示，也就是通过etho的ip的数据传输的展示，
sp:网卡的带宽（1000M）
pcki：传入的数据包的大小
pcko：传出的数据包的大小
si:每秒传入的数据大小
so：每秒传出的数据大小
coll（collisions）：每秒的冲突数
mlti（MULTICAST）：每秒的多路广播的数量
erri/erro:每秒输入输出的错误数
drpi/drpo:每秒的输入输出的丢包数
lo:通过127.0.0.1网络接口的数据传输的数据展示，参数和上面的eth0是一样的
进程列
进程列展示了每个进程在过去10S内的数据
m模式：内存状态模式
SYSCPU:过去10s内进程处于内核模式占用的CPU时间
USRCPU:过去10S进程处于用户模式占用的CPU时间
VSIZE:过去10S进程占用的虚拟空间大小
RSIZE:过去10S进程占用的内存空间大小
PSIZE:过去10S进程占用的页大小
VGROW：过去10S进程增长的虚拟空间大小
RGROW：过去10S进程增长的内存大小
SWAPSZ:过去10S进程使用交换空间的大小。
MEM:过去10S进程占用内存百分比
d模式：磁盘状态模式
RDDSK:过去10S进程读磁盘的数据量
WRDSK:过去10S进程写磁盘的数据量
DSK:过去10S进程所占磁盘的百分比
CMD:进程名
p模式：进程状态模式，同一个名称的进程显示一列，根据进程名进行分组显示
NPROCS:相同名称的进程数量
其它的参数上面已经有列出
v模式：线程状态模式
u模式：用户模式
根据用户进行分组显示
g模式：标准模式
s:进程当前的状态，包括：s(sleeping),R(runing)等
top
- top 查看系统及参数分析
（1） top && 1 命令来查看系统综合运行
Cpu(s):
us 用户空间占用CPU百分比
sy 内核空间占用CPU百分比
ni 用户进程空间内改变过优先级的进程占用CPU百分比
id 空闲CPU百分比
wa 等待输入输出的CPU时间百分比
hi：硬件CPU中断占用百分比
si：软中断占用百分比
st指的是当前VM中的cpu cycle被虚拟化偷走的比例。
举例来说，一个8 vCPU的物理机，开了4个虚拟机，每个指定的CPU资源都是8个vCPU，当这2个虚拟机都满负荷跑的时候，那么top命令里面st就会很高。
Mem:
191272k total 物理内存总量
173656k used 使用的物理内存总量
17616k free 空闲内存总量
22052k buffers 用作内核缓存的内存量
Swap:
192772k total 交换区总量
0k used 使用的交换区总量
192772k free 空闲交换区总量
123988k cached 缓冲的交换区总量,内存中的内容被换出到交换区，而后又被换入到内存，但使用过的交换区尚未被覆盖，该数值即为这些内容已存在于内存中的交换区的大小,相应的内存再次被换出时可不必再对交换区写入。
怎么看内存有多少空闲呢？
totalfree = free17616 + buffers22052 + cached123988
进程信息
序号 列名 含义
a PID 进程id
b PPID 父进程id
c RUSER Real user name
d UID 进程所有者的用户id
e USER 进程所有者的用户名
f GROUP 进程所有者的组名
g TTY 启动进程的终端名。不是从终端启动的进程则显示为 ?
h PR 优先级
i NI nice值。负值表示高优先级，正值表示低优先级
j P 最后使用的CPU，仅在多CPU环境下有意义
k %CPU 上次更新到现在的CPU时间占用百分比
l TIME 进程使用的CPU时间总计，单位秒
m TIME+ 进程使用的CPU时间总计，单位1/100秒
n %MEM 进程使用的物理内存百分比
o VIRT 进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES
p SWAP 进程使用的虚拟内存中，被换出的大小，单位kb。
q RES 进程使用的、未被换出的物理内存大小，单位kb。RES=CODE+DATA
r CODE 可执行代码占用的物理内存大小，单位kb
s DATA 可执行代码以外的部分(数据段+栈)占用的物理内存大小，单位kb
t SHR 共享内存大小，单位kb
u nFLT 页面错误次数
v nDRT 最后一次写入到现在，被修改过的页面数。
w S 进程状态(D=不可中断的睡眠状态,R=运行,S=睡眠,T=跟踪/停止,Z=僵尸进程)
x COMMAND 命令名/命令行
y WCHAN 若该进程在睡眠，则显示睡眠中的系统函数名
z Flags 任务标志，参考 sched.h
（2）top -H -p 查看具体进程内线程资源消耗
iostat
iostat 使用示例
heyongxin@8d9f0352366a:~$ iostat -x -k
Linux 3.10.0-514.26.2.el7.x86_64 (8d9f0352366a) 04/11/18 _x86_64_ (8 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.96 0.00 0.43 1.67 0.00 96.94
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.01 9.39 0.30 10.80 25.01 222.67 44.61 1.22 110.03 14.31 112.72 13.69 15.20iostat 参数说明
rrqm/s:每秒进行merge的读操作数目。即delta(rmerge)/s
wrqm/s:每秒进行merge的写操作数目。即delta(wmerge)/s
r/s:每秒完成的读I/O设备次数。即delta(rio)/s
w/s:每秒完成的写I/0设备次数。即delta(wio)/s
rsec/s:每秒读扇区数。即delta(rsect)/s
wsec/s:每秒写扇区数。即delta(wsect)/s
rKB/s:每秒读K字节数。是rsec/s的一半，因为每扇区大小为512字节
wKB/s:每秒写K字节数。是wsec/s的一半
avgrq-sz:平均每次设备I/O操作的数据大小(扇区)。即delta(rsect+wsect)/delta(rio+wio)
avgqu-sz:平均I/O队列长度。即delta(aveq)/s/1000(因为aveq的单位为毫秒)
await:平均每次设备I/O操作的等待时间(毫秒)。即delta(ruse+wuse)/delta(rio+wio)
svctm:平均每次设备I/O操作的服务时间(毫秒)。即delta(use)/delta(rio+wio)
%util:一秒中有百分之多少的时间用于I/O操作,或者说一秒中有多少时间I/O队列是非空的。即delta(usr)/s/1000(因为use的单位为毫秒)
iotop 查看实时进程IO
pt-ioprofile
pt-ioprofile安装
wget https://www.percona.com/downloads/percona-toolkit/3.0.8/binary/tarball/percona-toolkit-3.0.8_x86_64.tar.gz
tar -zvxf percona-toolkit-3.0.8_x86_64.tar.gz
export PATH=$PATH:/home/heyongxin/percona-toolkit-3.0.8/bin
pt-ioprofile使用
#查找进程ID
[root@In Namespace bin]# ps aux | grep servicefx
asr_test 1067 0.5 0.1 14586868 306384 ? Sl Mar27 113:47 ./servicefx_http_server -d
asr_test 7163 0.3 3.4 13282944 6888884 ? Sl Mar27 84:40 ./servicefx_asr_cp -d
asr_test 18794 2.0 0.0 3239880 18552 ? Sl Mar26 472:48 ./servicefx_license_server -d
asr_test 18902 3.0 0.0 3389416 19192 ? Sl Mar26 700:33 ./servicefx_slb -d
root 29040 0.0 0.0 103188 884 pts/14 S+ 15:15 0:00 grep servicefx
#跟踪进程
[root@In Namespace bin]# pt-ioprofile --profile-pid=1067
2018年 04月 11日 星期三 15:15:55 CST
Tracing process ID 1067
total write lseek filename
0.071508 0.036320 0.035188 /home/asr_test/cloud/log/hcicloud_http_server.log
#详细跟踪 lseek为导至高IO的操作，如有其它操作，也会显示如open fsync,\
#hcicloud_http_server.log 高IO读写文件，
[root@In Namespace bin]# pt-ioprofile --profile-pid=1067 --cell=sizes
2018年 04月 11日 星期三 15:17:27 CST
Tracing process ID 1067
total write lseek filename
30408777132 45360 30408731772 /home/asr_test/cloud/log/hcicloud_http_server.logNetwork IO
- UDP
良好状态指标
接收、发送缓冲区没有长时间等待处理的网络包。
监控工具
netstat
对于UDP服务，查看所有监听的UDP端口的网络情况
$ watch netstat -lunp
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
udp 0 0 0.0.0.0:64000 0.0.0.0:* -
udp 0 0 0.0.0.0:38400 0.0.0.0:* -
udp 0 0 0.0.0.0:38272 0.0.0.0:* -
udp 0 0 0.0.0.0:36992 0.0.0.0:* -
udp 0 0 0.0.0.0:17921 0.0.0.0:* -
udp 0 0 0.0.0.0:11777 0.0.0.0:* -
udp 0 0 0.0.0.0:14721 0.0.0.0:* -
udp 0 0 0.0.0.0:36225 0.0.0.0:* -
#RecvQ、SendQ为0，或者没有长时间大于0的数值是比较正常的。
#对于UDP服务，查看丢包情况（网卡收到了，但是应用层没有处理过来造成的丢包）
$ watch netstat -su
Udp:
278073881 packets received
4083356897 packets to unknown port received.
2474435364 packet receive errors
1079038030 packets sent
packet receive errors 这一项数值增长了，则表明在丢包。- TCP
良好状态指标
对于TCP而言，不会出现因为缓存不足而存在丢包的事，因为网络等其他原因，导致丢了包，协议层也会通过重传机制来保证丢的包到达对方。
所以，tcp而言更多的专注重传率。
监控工具
# cat /proc/net/snmp | grep Tcp:
Tcp: RtoAlgorithm RtoMin RtoMax MaxConn ActiveOpens PassiveOpens AttemptFails EstabResets CurrEstab InSegs OutSegs RetransSegs InErrs OutRsts
Tcp: 1 200 120000 -1 105112 76272 620 23185 6 2183206 2166093 550 6 968812
重传率 = RetransSegs / OutSegs
至于这个值在多少范围内，算ok的，得看具体的业务了。
业务侧更关注的是响应时间。free
[hcicloud_new@h86 ~]$ free
total used free shared buffers cached
Mem: 132143044 130777348 1365696 0 391044 38040800
-/+ buffers/cache: 92345504 39797540
Swap: 4194296 4166696 27600free -m ：查看内存情况，单位为MB。
total 内存总数
used 已经使用的内存数（我的程序使用内存数量+系统缓存使用的内数量）
free 空闲的物理内存数（是真正的空闲，未被任何程序占用）
shared 多个进程共享的内存总额
buffers 磁盘缓存（Buffer Cache）的大小（可提高系统I/O调用的性能）
cached 磁盘缓存（Page Cache）的大小（可提高系统I/O调用的性能）
-buffers/cache 表示已被我们的程序使用的内存数，计算方法：used - buffers - cached
+buffers/cache 表示还可已被我使用的内存数，计算方法：free + buffers + cached
vmstat
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 4194296 643024 398592 38881564 0 0 3 36 0 0 23 1 76 0 0 r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。
b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。
swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。
free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。
buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M
cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。)
si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。
so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。
bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒
bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。
in 每秒CPU的中断次数，包括时间中断
cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源，也要尽量避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的时间少了，CPU没有充分利用，是不可取的。
us 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。
sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。
id 空闲 CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。
wt 等待IO CPU时间。