[TOC]
综合状态
top 命令
显示进程详细信息
top [选项]
选项
-p 只查看指定进程号的信息
-u, -U 只查看属于指定用户的进程信息
-d 设置自动刷新延迟时间, 默认是每3秒自动刷新
-b 批量操作模式, 常用于脚本. 一般与 -n 指定输出次数, -d 指定间隔时间
-n top 最大输出次数
运行界面可执行的命令
展示数据
1 详细展示每个逻辑cpu的使用情况.
c 展示详细的 Command 列
m 切换内存信息展示(在具体数值和百分比之间切换)
E 切换内存(Mem 和 Swap行)的单位
e 切换内存(VIRT, RES, SHR)的单位(byte, m, g, t, p)
排序
M CPU使用从大到小
P 内存使用从大到小
交互
s <刷新延迟> 自定义刷新延迟时间, 默认是每3秒自动刷新. 字段解释
第一行
top - 22:39:55 up 7:07, 2 users, load average: 1.39, 1.22, 1.16
距本次开机已运行时长 平均负载 1分钟 5分钟 15分钟
第二行(当前显示的进程数量及运行状态)
Tasks: 202 total, 3 running, 199 sleeping, 0 stopped, 0 zombie
当前共202个进程 有3个处于运行状态 199个处于休眠状态
第三行(cpu使用情况)
%CPU(s): 18.3 us, 29.0 sy, 0.0 ni, 52.1 id, 0.2 wa, 0.0 hi, 0.4 si, 0.0 st
cpu用于用户计算的比例 用于进程状态交互的比例 空闲比例 IO等待比例
第四行(内存状态)
KiB Mem: 1361956 total, 145060 free, 689800 used, 527096 buff/cache
总内存量 未被使用的内存 已使用的内存 用于读写缓存的内存
第五行(交换分区状态)
Kib Swap: 2097148 total, 2077948 free, 19200 used. 386368 avail Mem
交换分区大小 已使用的交换分区 可用内存数量.
第六行
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
由内核控制(受NI影响) 进程优先级(NICE) 状态 进程实际运行时间
平均负载: 衡量系统的繁忙程度
理想状态：每个cpu上都有一个活跃进程，即平均负载数等于cpu数
过载经验值：平均负载高于cpu数量70%的时候
第六行的
RES: 常驻内存, 即虚拟内存实际映射到物理内存的大小.
SHR: 占用的内存中属于共享内存的大小. 比如一些外部动态库仅会在内存中加载一份, 多个进程在其虚拟内存空间中这部分地址实际就映射到同一块物理内存地址.
也就是要计算单独某个进程占用的内存大小, 应该用 RES - SHR
这部分可参考: https://www.orchome.com/298
若是将共享内存占用的内存大小平摊给依赖它的进程, 此时各个进程占用内存 PSS = RES + SHR/共享进程数量
可以安装 smem 以方便查看进程的 PSS 值.
S: 进程的状态, 其可能的取值如下
T stopped 状态
R running 状态
S sleeping 状态ps 命令
ps(process status)
查看当前运行的进程的一个快照
ps [选项]
常用示例
ps -ef
ps -eLf 查看所有线程信息(会包括LWP和NLWP列)
列解释
UID 有效用户id
PID 进程号
PPID 父进程号
C
STIME
TTY 执行该进程的终端. pts 是虚拟终端, tty 是字符终端(init 3).
TIME 进程运行时间(该值不具有参考价值)
LWP 轻量级进程(线程)
NLWP
选项
基本参数
-A, -e 显示所有进程(默认只能查看到当前终端下的进程. 要理解, 进程是树形结构的.)
-a 显示归属在终端下的所有进程
-p <进程号> 只显示指定进程号的相关信息
-C <进程名>
过滤
-U # 根据创建进程的用户来筛选
-u # 根据进程所属用户来筛选(和 -U 是有区别的)
-C # 根据进程执行的命令(不包含参数)来精确匹配
-L # 查看特定进程的所有线程
输出格式
-f # 详细输出
-F # 更详细输出
-o # 自定义字段, 可使用的字段如下
# pid,user,args, cmd, tty, comm, command, fname, ucmd, ucomm, lstart, bsdstart, start 等
u # 面向用户的字段, 包含 %CPU, %MEM 等信息
排序
--sort [-+]- # + 表示从小到大排序(默认)
# - 表示从大到小排序
# 以下可以混合使用, 比如 --sort -pcpu,+pmem
# pcpu 按 cpu 使用排序
# pmem 按内容使用率排序
常用
标准语法 - 查看所有进程信息
ps -e # 简略信息
ps -ef # 详细信息
ps -eF # 完整信息(包含内存占用等)
ps -e u # 面向用户的信息(包含内存占用, CPU使用等)
BSD语法 - 查看所有进程信息
ps ax # 简略信息
ps aux # 完整信息
显示进程的树形结构
ps -ejH
ps axjf
输出列字段
PID 进程ID
TTY 所在终端
TIME 命令所占用的 CPU 处理时间
CMD 进程所运行的命令
参考: https://blog.csdn.net/baidu_3...
sar 命令
查看系统综合状态
sar [选项] [ ]
采样间隔 采样次数
示例
sar -u 1 10
sar -r 1 10
sar -b 1 10
sar -dp 1 10 # 查看所有块设备的读写情况, 每秒采样1次, 共采样10次.
选项
文件
-f # 从指定文件(二进制格式)获取数据来源(若未指定采样间隔, 默认是当天的统计信息)
# -f /var/log/sysstat/sa02
# -f /var/log/sa/sa02 # Centos 6
-o # 指定采样间隔后, 将采样数据写入指定文件(二进制格式)
时间过滤
-s # 指定天的开始时间(不包含, 因此默认需往前推10分钟)
-e # 指定天的结束时间
资源
-u # 报告CPU利用率情况, 可用 ALL 参数来输出更多字段
-q # 报告任务队列长度和平均负载(1,5,15)
-r # 输出内存和交换空间的统计信息
-b # 总体IO
-d # 通常配合 -p. 报告每一个块设备的活动状态.
显示格式
-p # 通常配合 -d. 打印出块设备名, 而非默认的 "device m-n" 格式. 系统默认保存最近28天的日志, 默认位置 /var/log/sa/
sa二进制数据(使用sar -f读取数据)sar文本数据
sar -n DEV 输出结果说明
IFACE：LAN接口
rxpck/s：每秒钟接收的数据包
txpck/s：每秒钟发送的数据包
rxbyt/s：每秒钟接收的字节数
txbyt/s：每秒钟发送的字节数
rxcmp/s：每秒钟接收的压缩数据包
txcmp/s：每秒钟发送的压缩数据包
rxmcst/s：每秒钟接收的多播数据包
rxerr/s：每秒钟接收的坏数据包
txerr/s：每秒钟发送的坏数据包
coll/s：每秒冲突数
rxdrop/s：因为缓冲充满，每秒钟丢弃的已接收数据包数
txdrop/s：因为缓冲充满，每秒钟丢弃的已发送数据包数
txcarr/s：发送数据包时，每秒载波错误数
rxfram/s：每秒接收数据包的帧对齐错误数
rxfifo/s：接收的数据包每秒FIFO过速的错误数
txfifo/s：发送的数据包每秒FIFO过速的错误数配置 /etc/sysconfig/sysstat
# 保存的历史文件(单位是天), 超过28天的则会分目录存放
HISTORY=28详解
怀疑CPU存在瓶颈，可用 sar -u 和 sar -q 等来查看
怀疑内存存在瓶颈，可用 sar -B、sar -r 和 sar -W 等来查看
怀疑I/O存在瓶颈，可用 sar -b、sar -u 和 sar -d 等来查看
CPU 使用情况 -u
# sar -u
09:50:01 AM CPU %user %nice %system %iowait %steal %idle
10:00:01 AM all 1.56 0.00 0.75 0.04 0.00 97.65
10:10:01 AM all 10.66 0.00 5.20 0.09 0.00 84.05
10:20:01 AM all 55.09 0.00 25.19 0.07 0.00 19.65
10:30:01 AM all 49.52 0.00 22.84 0.09 0.00 27.55
10:40:01 AM all 43.41 0.00 20.48 0.11 0.00 36.00
10:50:01 AM all 39.49 0.00 19.01 0.12 0.00 41.38
Average: all 33.19 0.00 15.53 0.09 0.00 51.20%user: 用户空间的CPU使用%nice: 改变过优先级的进程的CPU使用率%system: 内核空间的CPU使用率%iowait: CPU等待IO的百分比%steal: 虚拟机的虚拟机CPU使用的CPU%idle: 空闲的CPU
情景:
- 若
%iowait太高, 则表示 I/O 存在瓶颈 - 若
%idle太低, 则表示 CPU 使用率高
队列长度与平均负载 -q
# sar -q
09:50:01 AM runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15 blocked
10:00:01 AM 5 338 0.24 0.14 0.12 0
10:10:01 AM 11 416 3.90 1.54 0.71 0
10:20:01 AM 15 473 11.36 11.03 6.26 1
10:30:01 AM 7 474 8.14 9.77 8.00 0
10:40:01 AM 12 473 6.39 7.26 7.53 0
10:50:01 AM 15 453 4.53 5.88 6.94 0
Average: 11 438 5.76 5.94 4.93 0输出内容详解：
runq-sz：运行队列的长度（等待运行的进程数）；plist-sz：进程列表中进程（processes）和线程（threads）的数量；ldavg-1：最后1分钟的系统平均负载；ldavg-5：过去5分钟的系统平均负载；ldavg-15：过去15分钟的系统平均负载；blocked：当前阻塞的进程数量，在等待IO完成；
输出内存和交换空间 -r
# sar -r
09:50:01 AM kbmemfree kbmemused %memused kbbuffers kbcached kbcommit %commit kbactive kbinact kbdirty
10:00:01 AM 8902892 23876908 72.84 2080 12331564 7143804 21.79 7354428 7190496 224
10:10:01 AM 8496696 24283104 74.08 2080 12394360 7846800 23.94 7685000 7169248 1980
10:20:01 AM 7986260 24793540 75.64 2080 12430912 8486280 25.89 7984868 7146152 2120
10:30:01 AM 7804560 24975240 76.19 2080 12488140 8087856 24.67 7975640 7158088 1592
10:40:01 AM 7588988 25190812 76.85 2080 12588572 8190552 24.99 7976948 7214956 1388
10:50:01 AM 7534756 25245044 77.01 2080 12639652 7722896 23.56 7879740 7228132 1176
Average: 8052359 24727441 75.43 2080 12478867 7913031 24.14 7809437 7184512 1413输出内容详解：
kbmemfree：这个值和free命令中的free值基本一致，所以它不包括buffer和cache的空间；kbmemused：这个值和free命令中的used值基本一致，所以它包括buffer和cache的空间；%memused：这个值是kbmemused和内存总量(不包括swap)的一个百分比；kbbuffers：这两个值就是free命令中的buffer；kbcached：这两个值就是free命令中的cache；kbcommit：保证当前系统所需要的内存，即为了确保不溢出而需要的内存(RAM + swap)；%commit：这个值是kbcommit与内存总量(包括swap)的一个百分比；kbactive：活动内存量（以千字节计算）（最近使用的内存，通常不会被收回，除非绝对必要）；kbinact：不活动内存量（以千字节计算的内存（最近使用的内存），更有资格被用于其他目的）；kbdirty：以KB为单位的内存量等待写入磁盘；
pidstat 命令
磁盘 IO
建议排查顺序
查看设备总体利用率情况
iostat -xt 1查看是哪个进程在占用磁盘 IO
iotop
iostat 命令
快速查看磁盘设备的当前使用繁忙程度
查看 CPU 及设备/分区的使用情况
iostat [ options ] [ [ ] ]
iostat -xcdmt 1
选项
-x: 显示扩展状态(包含 -c, -d, -k)
-t: 显示每个报告产生时的时间
-m: 以兆字节每秒为单位，而不使用块每秒
-k: 以千字节每秒为单位，而不使用块每秒
-c: 显示CPU使用情况
-d: 显示设备利用率 重点关注如下指标:
| 标示 | 说明 |
|---|---|
%iowait |
CPU等待IO时间占用CPU总时间的百分比 |
| Device | 监测设备名称 |
| rMB/s | 每秒实际读取的大小，单位为KB |
| wMB/s | 每秒实际写入的大小，单位为KB |
| avgrq-sz | 需求的平均大小区段 |
| avgqu-sz | IO请求的平均队列长度 |
await |
IO请求平均响应时间（队列排队时间+IO处理时间），一般系统 I/O 响应时间应该低于 5ms，如果大于 10ms 就比较大了 |
| svctm | IO处理时间，即寻道 + 旋转延迟时间； |
%util |
磁盘繁忙程度。 例如，如果统计间隔 1 秒，该设备有 0.8 秒在处理 I/O，而 0.2 秒闲置，那么该设备的 %util = 0.8/1 = 80%； |
iotop 命令
快速查看各个进程对于磁盘 IO 的读写情况
iotop
选项
-d SEC, --delay=SEC #设置显示的间隔秒数，支持非整数值
-p PID, --pid=PID #只显示指定PID的信息
-u USER, --user=USER #显示指定的用户的进程的信息
-o, --only #显示进程或者线程实际上正在做的I/O，而不是全部的，可以随时切换按o
-a, --accumulated #显示从iotop启动后每个线程完成了的IO总数
# 非交互模式
-b, --batch #运行在非交互式的模式
-t, --time # batch模式, 在每一行前添加一个当前的时间
-n NUM, --iter=NUM #在非交互式模式下，设置显示的次数，
# 比较少用的选项
--version #显示版本号
-h, --help #显示帮助信息
-P, --processes # 只显示进程(默认会展示所有的线程) (建议以默认的查看所有线程的方式, 否则会有遗漏)
-k, --kilobytes #以千字节显示(默认是按照 human 方式)
-q, --quiet #suppress some lines of header (implies --batch). This option can be specified up to three times to remove header lines.
-q column names are only printed on the first iteration,
-qq column names are never printed,
-qqq the I/O summary is never printed.
操作按键
a: 显示累积使用量 (--accumulated)
o: 只显示有io的进程/线程 (--only)
p: 进程/线程显示切换 PID/TID, 默认是 TID (--processes)
i：改变线程的优先级
r：反向排序
使用left和right改变排序
q：退出 网络
建议排查顺序
查看网络总体使用情况
nload -u h eth0查看是哪个进程占用网络
nethogs查看是哪个 ip:port 在占用网络
iftop -i eth0 -nNPB需要根据端口号来判断.
nload 命令
查看总体带宽使用情况
nload [选项] []
说明
不指定 时会显示所有网络设备
选项
-t # 刷新间隔(毫秒), 默认是 500毫秒, 设置小于100毫秒时会不精确.
-u h|H|b|B|k|K|m|M|g|G # 每秒的流量单位, 默认是 k.
# h auto, human readable
# b Bit/s
# k kBit/s
# m MBit/s
# g GBit/s
# 大写的 bkmg 是用 Byte 为单位, 而非 Bit.
-U h|H|b|B|k|K|m|M|g|G # 累计流量单位, 默认是 M. nethogs
按照进程统计流量
nethogs [选项] [device [device ...]]
运行时交互
m # 修改单位
r # 按流量排序
s # 按发送流量排序
q # 退出命令提示符
选项|参数
-v # 切换显示单位，默认是默认是KB/s（0表示 KB/s，1表示KB，2表示B，3表示MB）
-c # 检测次数（后面直接跟数字）
-a # 检测所有的设备
-d # 延迟更新刷新速率，以秒为单位。默认值为 1.
-t # 跟踪模式.
-b # bug 狩猎模式 — — 意味着跟踪模式.
-V # 显示版本信息，注意是大写字母V.
-p # 混合模式（不推荐）.
device # 要监视的设备名称. 默认为 eth0 iftop 命令
按照 ip:port 统计流量
iftop [选项]
选项
网卡
-i <网卡> # 指定只解析网络接口
主机名
-n # ip不解析成域名
端口
-P # 显示通信双方的端口号
-N # 端口号不解析成服务名
-B # 使用 byte 而不是默认的 bit
输出结果解释
第三列
51Kb 40.0Kb 22.0Kb
本机 2s 10s 40s 的平均流量epel 源提供.