Linux系统综合分析和诊断工具

25个Linux 系统性能分析工具:https://www.cnblogs.com/peter316/p/6287212.html

atop

atop 安装

wget https://www.atoptool.nl/download/atop-2.3.0-1.el7.x86_64.rpm
sudo rpm -ivh atop-2.3.0-1.el7.x86_64.rpm

atop 使用

PRC | sys    0.01s | user   0.00s  |              | #proc     16 | #trun      1  | #tslpi    17 |              | #tslpu     0  | #zombie    0 | clones    22 |               | no  procacct |
CPU | sys   3% | user     13%  | irq       1% |              | idle    759%  | wait     26% |              |               | steal     0% | guest     0% | curf 2.13GHz  | curscal   ?% |
cpu | sys   0% | user      2%  | irq       0% |              | idle     95%  | cpu000 w  3% |              |               | steal     0% | guest     0% | curf 2.13GHz  | curscal   ?% |
cpu | sys   1% | user      2%  | irq       0% |              | idle     92%  | cpu003 w  6% |              |               | steal     0% | guest     0% | curf 2.13GHz  | curscal   ?% |
cpu | sys   0% | user      2%  | irq       0% |              | idle     92%  | cpu007 w  6% |              |               | steal     0% | guest     0% | curf 2.13GHz  | curscal   ?% |
cpu | sys   0% | user      2%  | irq       0% |              | idle     90%  | cpu005 w  8% |              |               | steal     0% | guest     0% | curf 2.13GHz  | curscal   ?% |
cpu | sys   0% | user      2%  | irq       0% |              | idle     96%  | cpu001 w  2% |              |               | steal     0% | guest     0% | curf 2.13GHz  | curscal   ?% |
cpu | sys   0% | user      2%  | irq       0% |              | idle     97%  | cpu004 w  1% |              |               | steal     0% | guest     0% | curf 2.13GHz  | curscal   ?% |
cpu | sys   1% | user      2%  | irq       0% |              | idle     98%  | cpu002 w  0% |              |               | steal     0% | guest     0% | curf 2.13GHz  | curscal   ?% |
cpu | sys   0% | user      1%  | irq       0% |              | idle     98%  | cpu006 w  0% |              |               | steal     0% | guest     0% | curf 2.13GHz  | curscal   ?% |
CPL | avg1    0.71 | avg5    0.48  |              | avg15   0.43 |               |              | csw    29197 | intr   56511  |              |              | numcpu     8  |              |
MEM | tot    62.7G | free    1.6G  | cache  22.5G | dirty   0.2M | buff  549.2M  | slab    1.2G | slrec   1.1G | shmem 199.2M  | shrss   0.0M | vmbal   0.0M | hptot   0.0M  | hpuse   0.0M |
SWP | tot    97.7G | free   97.4G  |              |              |               |              |              |               |              |              | vmcom  43.1G  | vmlim 129.0G |
DSK |          sda | busy     20%  | read       0 |              | write    134  | KiB/r      0 | KiB/w     14 | MBr/s    0.0  | MBw/s    0.2 |              | avq    15.86  | avio 14.7 ms |
NET | transport    | tcpi       3  | tcpo       7 | udpi       0 | udpo       0  | tcpao      0 | tcppo      0 | tcprs      0  | tcpie      0 | tcpor      0 | udpnp      0  | udpie      0 |
NET | network      | ipi       33  | ipo        5 |              | ipfrw      0  | deliv      3 |              |               |              |              | icmpi      0  | icmpo      0 |
NET | eth0      0% | pcki      33  | pcko       5 | sp   10 Gbps | si    4 Kbps  | so    5 Kbps | coll       0 | mlti       0  | erri       0 | erro       0 | drpi   0  | drpo   0 |

  PID     CID              SYSCPU      USRCPU      VGROW       RGROW      RDDSK       WRDSK     RUID         EUID          ST     EXC       THR     S      CPUNR      CPU      CMD        1/1
23192     8d9f0352366a      0.01s       0.00s      2360K        332K         0K          0K     heyongxi     heyongxi      --       -         1     R          5       0%      atop
   62     8d9f0352366a      0.00s   0.00s         0K          0K         0K          0K     root         root          --       -         3     S          7       0%      rsyslogd
16981     8d9f0352366a      0.00s       0.00s         0K          0K         0K          0K     heyongxi     heyongxi      --       -         1     S          7       0%      sshd

atop参数说明

PRC:该列展示整个系统的性能状况;
sys:过去10s所有的进程在内核态运行的时间总和
usr:过去10s所有的进程在用户态的运行时间总和
proc:进程总数
trun:过去10s转换的进程数
zombie:过去10s僵死进程的数量
exit:在10s采样周期期间退出的进程数量
CPU: cpu列展示了服务器的CPU整体的一个状态信息,包括内核和用户所占的比例、处理中断所占的比例、CPU的处于空闲下比例(这里是100%*cpu核心数,CPU有时候也会因为由于磁盘性能问题出现等待的空闲)
sys:cpu在处理进程时处于内核态的时间所占的比例
usr:cpu在处理进程时处于用户态的时间所占的比例
irq:cpu在处理进程的中断请求所占的实际比例
idle:cpu处于空闲状态下的时间比例(除了本身空闲,还有比如等待磁盘io的情况下也会处于空闲状态)
cpu:每个核心的状态信息,和总的CPU信息一样,每列加起来的总和就是总的CPU的状态信息。
CPL:cpl也反应了服务器整体的性能,展示信息包括进程等待队列数,分别从过去1分钟、5分钟、15分钟的采样信息。
avg1:过去1分钟进程等待队列数
avg5:过去5分钟进程等待队列数
avg15:过去15分钟进程等待队列数
csw(context swapping):上下文交换次数
intr(interrupt):中断发生的次数
numcpu:cpu的核心数
mem:该列主要展示内存的使用信息。
tot:物理内存总量
free:空闲内存的大小(不能单单从这个字段就判断内存不足,还需要参考free -m中的-/+ buffers/cache:free因为这块的内容随时就可以拿过来使用,还可以从是否有使用Swap来判断是否内存不足)
cache:用于页缓存的内存大小
dirty:内存中的脏页大小
buff:用于文件缓存的内存大小
slab:系统内核占用的内存大小
SWP:交换空间使用情况
tot:交换空间总量
free:交换空间剩余空间总量
PAG列:虚拟内存分页情况
swin:换入内存页数
swout:换出内存页数
LVM/DSK:每个分区信息以一列来进行展示
busy:磁盘忙时所占比例
read、KiB/r 、MBr/s:每秒读的请求数和请求的kb、mb数
write、KiB/w 、MBr/w:每秒写的请求数和请求的kb、mb数
avq:磁盘平均队列长度(根据实际的监控该列好像是磁盘平均请求数avgrq)
avio:磁盘的平均io时间
NET:展示了传输层(TCP/UDP)、网络层(ip)、网络接口的网络传输信息。
transport:传输层(TCP/UDP)的数据输入输出的展示,例如在服务器的内部进程之间的数据传输就是在传输层展示,以为还不需要往下通过网络进行传输。
network:网络层(ip)的数据输入输出的展示;
eth0:默认的网络接口的数据输入输出的展示,也就是通过etho的ip的数据传输的展示,
sp:网卡的带宽(1000M)
pcki:传入的数据包的大小
pcko:传出的数据包的大小
si:每秒传入的数据大小
so:每秒传出的数据大小
coll(collisions):每秒的冲突数
mlti(MULTICAST):每秒的多路广播的数量
erri/erro:每秒输入输出的错误数
drpi/drpo:每秒的输入输出的丢包数
lo:通过127.0.0.1网络接口的数据传输的数据展示,参数和上面的eth0是一样的
进程列
进程列展示了每个进程在过去10S内的数据
m模式:内存状态模式
SYSCPU:过去10s内进程处于内核模式占用的CPU时间
USRCPU:过去10S进程处于用户模式占用的CPU时间
VSIZE:过去10S进程占用的虚拟空间大小
RSIZE:过去10S进程占用的内存空间大小
PSIZE:过去10S进程占用的页大小
VGROW:过去10S进程增长的虚拟空间大小
RGROW:过去10S进程增长的内存大小
SWAPSZ:过去10S进程使用交换空间的大小。
MEM:过去10S进程占用内存百分比
d模式:磁盘状态模式
RDDSK:过去10S进程读磁盘的数据量
WRDSK:过去10S进程写磁盘的数据量
DSK:过去10S进程所占磁盘的百分比
CMD:进程名
p模式:进程状态模式,同一个名称的进程显示一列,根据进程名进行分组显示
NPROCS:相同名称的进程数量
其它的参数上面已经有列出
v模式:线程状态模式
u模式:用户模式
根据用户进行分组显示
g模式:标准模式
s:进程当前的状态,包括:s(sleeping),R(runing)等

top

  • top 查看系统及参数分析
    (1) top && 1 命令来查看系统综合运行
    Linux系统综合分析和诊断工具_第1张图片
    Cpu(s):
    us 用户空间占用CPU百分比
    sy 内核空间占用CPU百分比
    ni 用户进程空间内改变过优先级的进程占用CPU百分比
    id 空闲CPU百分比
    wa 等待输入输出的CPU时间百分比
    hi:硬件CPU中断占用百分比
    si:软中断占用百分比
    st指的是当前VM中的cpu cycle被虚拟化偷走的比例。
    举例来说,一个8 vCPU的物理机,开了4个虚拟机,每个指定的CPU资源都是8个vCPU,当这2个虚拟机都满负荷跑的时候,那么top命令里面st就会很高。
    Mem:
    191272k total 物理内存总量
    173656k used 使用的物理内存总量
    17616k free 空闲内存总量
    22052k buffers 用作内核缓存的内存量
    Swap:
    192772k total 交换区总量
    0k used 使用的交换区总量
    192772k free 空闲交换区总量
    123988k cached 缓冲的交换区总量,内存中的内容被换出到交换区,而后又被换入到内存,但使用过的交换区尚未被覆盖,该数值即为这些内容已存在于内存中的交换区的大小,相应的内存再次被换出时可不必再对交换区写入。
    怎么看内存有多少空闲呢?
    totalfree = free17616 + buffers22052 + cached123988
    进程信息
    序号 列名 含义
    a PID 进程id
    b PPID 父进程id
    c RUSER Real user name
    d UID 进程所有者的用户id
    e USER 进程所有者的用户名
    f GROUP 进程所有者的组名
    g TTY 启动进程的终端名。不是从终端启动的进程则显示为 ?
    h PR 优先级
    i NI nice值。负值表示高优先级,正值表示低优先级
    j P 最后使用的CPU,仅在多CPU环境下有意义
    k %CPU 上次更新到现在的CPU时间占用百分比
    l TIME 进程使用的CPU时间总计,单位秒
    m TIME+ 进程使用的CPU时间总计,单位1/100秒
    n %MEM 进程使用的物理内存百分比
    o VIRT 进程使用的虚拟内存总量,单位kb。VIRT=SWAP+RES
    p SWAP 进程使用的虚拟内存中,被换出的大小,单位kb。
    q RES 进程使用的、未被换出的物理内存大小,单位kb。RES=CODE+DATA
    r CODE 可执行代码占用的物理内存大小,单位kb
    s DATA 可执行代码以外的部分(数据段+栈)占用的物理内存大小,单位kb
    t SHR 共享内存大小,单位kb
    u nFLT 页面错误次数
    v nDRT 最后一次写入到现在,被修改过的页面数。
    w S 进程状态(D=不可中断的睡眠状态,R=运行,S=睡眠,T=跟踪/停止,Z=僵尸进程)
    x COMMAND 命令名/命令行
    y WCHAN 若该进程在睡眠,则显示睡眠中的系统函数名
    z Flags 任务标志,参考 sched.h
    (2)top -H -p 查看具体进程内线程资源消耗
    Linux系统综合分析和诊断工具_第2张图片

iostat

iostat 使用示例

heyongxin@8d9f0352366a:~$  iostat -x -k 
Linux 3.10.0-514.26.2.el7.x86_64 (8d9f0352366a)     04/11/18    _x86_64_    (8 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.96    0.00    0.43    1.67    0.00   96.94

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.01     9.39    0.30   10.80    25.01   222.67    44.61     1.22  110.03   14.31  112.72  13.69  15.20

iostat 参数说明

rrqm/s:每秒进行merge的读操作数目。即delta(rmerge)/s
wrqm/s:每秒进行merge的写操作数目。即delta(wmerge)/s
r/s:每秒完成的读I/O设备次数。即delta(rio)/s
w/s:每秒完成的写I/0设备次数。即delta(wio)/s
rsec/s:每秒读扇区数。即delta(rsect)/s
wsec/s:每秒写扇区数。即delta(wsect)/s
rKB/s:每秒读K字节数。是rsec/s的一半,因为每扇区大小为512字节
wKB/s:每秒写K字节数。是wsec/s的一半
avgrq-sz:平均每次设备I/O操作的数据大小(扇区)。即delta(rsect+wsect)/delta(rio+wio)
avgqu-sz:平均I/O队列长度。即delta(aveq)/s/1000(因为aveq的单位为毫秒)
await:平均每次设备I/O操作的等待时间(毫秒)。即delta(ruse+wuse)/delta(rio+wio)
svctm:平均每次设备I/O操作的服务时间(毫秒)。即delta(use)/delta(rio+wio)
%util:一秒中有百分之多少的时间用于I/O操作,或者说一秒中有多少时间I/O队列是非空的。即delta(usr)/s/1000(因为use的单位为毫秒)

iotop 查看实时进程IO

Linux系统综合分析和诊断工具_第3张图片

pt-ioprofile

pt-ioprofile安装

wget https://www.percona.com/downloads/percona-toolkit/3.0.8/binary/tarball/percona-toolkit-3.0.8_x86_64.tar.gz
tar -zvxf percona-toolkit-3.0.8_x86_64.tar.gz
export PATH=$PATH:/home/heyongxin/percona-toolkit-3.0.8/bin
pt-ioprofile使用

#查找进程ID
[root@In Namespace bin]# ps aux | grep servicefx
asr_test  1067  0.5  0.1 14586868 306384 ?     Sl   Mar27 113:47 ./servicefx_http_server -d
asr_test  7163  0.3  3.4 13282944 6888884 ?    Sl   Mar27  84:40 ./servicefx_asr_cp -d
asr_test 18794  2.0  0.0 3239880 18552 ?       Sl   Mar26 472:48 ./servicefx_license_server -d
asr_test 18902  3.0  0.0 3389416 19192 ?       Sl   Mar26 700:33 ./servicefx_slb -d
root     29040  0.0  0.0 103188   884 pts/14   S+   15:15   0:00 grep servicefx
#跟踪进程
[root@In Namespace bin]# pt-ioprofile --profile-pid=1067
20180411日 星期三 15:15:55 CST
Tracing process ID 1067
     total      write      lseek filename
  0.071508   0.036320   0.035188 /home/asr_test/cloud/log/hcicloud_http_server.log
#详细跟踪 lseek为导至高IO的操作,如有其它操作,也会显示如open fsync,\
#hcicloud_http_server.log 高IO读写文件,
[root@In Namespace bin]# pt-ioprofile --profile-pid=1067 --cell=sizes
20180411日 星期三 15:17:27 CST
Tracing process ID 1067
     total      write      lseek filename
30408777132      45360 30408731772 /home/asr_test/cloud/log/hcicloud_http_server.log

Network IO

  • UDP

良好状态指标
接收、发送缓冲区没有长时间等待处理的网络包。
监控工具
netstat
对于UDP服务,查看所有监听的UDP端口的网络情况

$ watch netstat -lunp
Proto Recv-Q Send-Q Local Address          Foreign Address        State      PID/Program name
udp        0      0 0.0.0.0:64000          0.0.0.0:*                          -
udp        0      0 0.0.0.0:38400          0.0.0.0:*                          -
udp        0      0 0.0.0.0:38272          0.0.0.0:*                          -
udp        0      0 0.0.0.0:36992          0.0.0.0:*                          -
udp        0      0 0.0.0.0:17921          0.0.0.0:*                          -
udp        0      0 0.0.0.0:11777          0.0.0.0:*                          -
udp        0      0 0.0.0.0:14721          0.0.0.0:*                          -
udp        0      0 0.0.0.0:36225          0.0.0.0:*                          -
#RecvQ、SendQ为0,或者没有长时间大于0的数值是比较正常的。
#对于UDP服务,查看丢包情况(网卡收到了,但是应用层没有处理过来造成的丢包)
$ watch netstat -su

Udp:

    278073881 packets received

    4083356897 packets to unknown port received.

    2474435364 packet receive errors

    1079038030 packets sent

packet receive errors 这一项数值增长了,则表明在丢包。


  • TCP

良好状态指标
对于TCP而言,不会出现因为缓存不足而存在丢包的事,因为网络等其他原因,导致丢了包,协议层也会通过重传机制来保证丢的包到达对方。
所以,tcp而言更多的专注重传率。
监控工具
# cat /proc/net/snmp | grep Tcp:

Tcp: RtoAlgorithm RtoMin RtoMax MaxConn ActiveOpens PassiveOpens AttemptFails EstabResets CurrEstab InSegs OutSegs RetransSegs InErrs OutRsts

Tcp: 1 200 120000 -1 105112 76272 620 23185 6 2183206 2166093 550 6 968812

重传率 = RetransSegs / OutSegs

至于这个值在多少范围内,算ok的,得看具体的业务了。

业务侧更关注的是响应时间。

free

[hcicloud_new@h86 ~]$ free
             total       used       free     shared    buffers     cached
Mem:     132143044  130777348    1365696          0     391044   38040800
-/+ buffers/cache:   92345504   39797540
Swap:      4194296    4166696      27600

free -m :查看内存情况,单位为MB。
total 内存总数
used 已经使用的内存数(我的程序使用内存数量+系统缓存使用的内数量)
free 空闲的物理内存数(是真正的空闲,未被任何程序占用)
shared 多个进程共享的内存总额
buffers 磁盘缓存(Buffer Cache)的大小(可提高系统I/O调用的性能)
cached 磁盘缓存(Page Cache)的大小(可提高系统I/O调用的性能)
-buffers/cache 表示已被我们的程序使用的内存数,计算方法:used - buffers - cached
+buffers/cache 表示还可已被我使用的内存数,计算方法:free + buffers + cached

vmstat

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0 4194296 643024 398592 38881564    0    0     3    36    0    0 23  1 76  0  0 

r 表示运行队列(就是说多少个进程真的分配到CPU),我测试的服务器目前CPU比较空闲,没什么程序在跑,当这个值超过了CPU数目,就会出现CPU瓶颈了。这个也和top的负载有关系,一般负载超过了3就比较高,超过了5就高,超过了10就不正常了,服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大,表示你的CPU很繁忙,一般会造成CPU使用率很高。
b 表示阻塞的进程,这个不多说,进程阻塞,大家懂的。
swpd 虚拟内存已使用的大小,如果大于0,表示你的机器物理内存不足了,如果不是程序内存泄露的原因,那么你该升级内存了或者把耗内存的任务迁移到其他机器。
free 空闲的物理内存的大小,我的机器内存总共8G,剩余3415M。
buff Linux/Unix系统是用来存储,目录里面有什么内容,权限等的缓存,我本机大概占用300多M
cache cache直接用来记忆我们打开的文件,给文件做缓冲,我本机大概占用300多M(这里是Linux/Unix的聪明之处,把空闲的物理内存的一部分拿来做文件和目录的缓存,是为了提高 程序执行的性能,当程序使用内存时,buffer/cached会很快地被使用。)
si 每秒从磁盘读入虚拟内存的大小,如果这个值大于0,表示物理内存不够用或者内存泄露了,要查找耗内存进程解决掉。我的机器内存充裕,一切正常。
so 每秒虚拟内存写入磁盘的大小,如果这个值大于0,同上。
bi 块设备每秒接收的块数量,这里的块设备是指系统上所有的磁盘和其他块设备,默认块大小是1024byte,我本机上没什么IO操作,所以一直是0,但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s,磁盘写入速度差不多140M每秒
bo 块设备每秒发送的块数量,例如我们读取文件,bo就要大于0。bi和bo一般都要接近0,不然就是IO过于频繁,需要调整。
in 每秒CPU的中断次数,包括时间中断
cs 每秒上下文切换次数,例如我们调用系统函数,就要进行上下文切换,线程的切换,也要进程上下文切换,这个值要越小越好,太大了,要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中,我们一般做性能测试时会进行几千并发甚至几万并发的测试,选择web服务器的进程可以由进程或者线程的峰值一直下调,压测,直到cs到一个比较小的值,这个进程和线程数就是比较合适的值了。系统调用也是,每次调用系统函数,我们的代码就会进入内核空间,导致上下文切换,这个是很耗资源,也要尽量避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换,导致CPU干正经事的时间少了,CPU没有充分利用,是不可取的。
us 用户CPU时间,我曾经在一个做加密解密很频繁的服务器上,可以看到us接近100,r运行队列达到80(机器在做压力测试,性能表现不佳)。
sy 系统CPU时间,如果太高,表示系统调用时间长,例如是IO操作频繁。
id 空闲 CPU时间,一般来说,id + us + sy = 100,一般我认为id是空闲CPU使用率,us是用户CPU使用率,sy是系统CPU使用率。
wt 等待IO CPU时间。

你可能感兴趣的:(多核多线程,Linux,CC++,Linux性能优化,性能优化)