磁盘io的速率很有可能成为整个系统的性能瓶颈,因此在部署系统之前可以做好io速率的检测,在服务出问题的时候要求运维工程师能够排查是否由io堆积引起
对磁盘进行读写的速率
[root@node1 ~]# dd if=/dev/zero of=/home/test bs=1M count=2000 oflag=direct;rm -f /home/test
2000+0 records in
2000+0 records out
2097152000 bytes (2.1 GB) copied, 11.2756 s, 186 MB/s
对磁盘进行随机读写的速率
[root@node1 ~]# fio -filename=/home/test_ranrw -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=90 -ioengine=psync -bs=16k -size=5G -numjobs=20 -runtime=100 -group_reporting -name=mytest; rm -f /home/test_randrw
mytest: (g=0): rw=randrw, bs=(R) 16.0KiB-16.0KiB, (W) 16.0KiB-16.0KiB, (T) 16.0KiB-16.0KiB, ioengine=psync, iodepth=1
...
fio-3.7
Starting 20 threads
Jobs: 20 (f=20): [m(20)][100.0%][r=3827KiB/s,w=480KiB/s][r=239,w=30 IOPS][eta 00m:00s]
mytest: (groupid=0, jobs=20): err= 0: pid=7561: Thu Jun 15 15:25:25 2023
read: IOPS=253, BW=4061KiB/s (4158kB/s)(397MiB/100198msec)
clat (usec): min=487, max=645946, avg=76468.48, stdev=91446.67
lat (usec): min=487, max=645946, avg=76468.86, stdev=91446.69
clat percentiles (msec):
| 1.00th=[ 4], 5.00th=[ 6], 10.00th=[ 9], 20.00th=[ 14],
| 30.00th=[ 22], 40.00th=[ 31], 50.00th=[ 43], 60.00th=[ 59],
| 70.00th=[ 84], 80.00th=[ 120], 90.00th=[ 186], 95.00th=[ 271],
| 99.00th=[ 447], 99.50th=[ 510], 99.90th=[ 575], 99.95th=[ 592],
| 99.99th=[ 609]
bw ( KiB/s): min= 31, max= 640, per=5.00%, avg=203.13, stdev=109.94, samples=3987
iops : min= 1, max= 40, avg=12.06, stdev= 6.91, samples=3987
write: IOPS=29, BW=474KiB/s (485kB/s)(46.4MiB/100198msec)
clat (usec): min=336, max=462996, avg=19670.43, stdev=62724.47
lat (usec): min=337, max=462996, avg=19671.14, stdev=62724.45
clat percentiles (usec):
| 1.00th=[ 461], 5.00th=[ 603], 10.00th=[ 725], 20.00th=[ 857],
| 30.00th=[ 930], 40.00th=[ 1012], 50.00th=[ 1139], 60.00th=[ 1336],
| 70.00th=[ 1582], 80.00th=[ 1991], 90.00th=[ 57934], 95.00th=[139461],
| 99.00th=[362808], 99.50th=[413139], 99.90th=[450888], 99.95th=[455082],
| 99.99th=[463471]
bw ( KiB/s): min= 31, max= 224, per=10.85%, avg=51.33, stdev=30.09, samples=1824
iops : min= 1, max= 14, avg= 2.58, stdev= 1.94, samples=1824
lat (usec) : 500=0.17%, 750=1.04%, 1000=2.87%
lat (msec) : 2=4.48%, 4=1.66%, 10=10.53%, 20=14.12%, 50=23.38%
lat (msec) : 100=18.88%, 250=17.40%, 500=4.98%, 750=0.50%
cpu : usr=0.00%, sys=0.20%, ctx=28445, majf=0, minf=9
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=25429,2968,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
READ: bw=4061KiB/s (4158kB/s), 4061KiB/s-4061KiB/s (4158kB/s-4158kB/s), io=397MiB (417MB), run=100198-100198msec
WRITE: bw=474KiB/s (485kB/s), 474KiB/s-474KiB/s (485kB/s-485kB/s), io=46.4MiB (48.6MB), run=100198-100198msec
Disk stats (read/write):
dm-0: ios=25429/2975, merge=0/0, ticks=1940403/57544, in_queue=2008585, util=100.00%, aggrios=25429/2975, aggrmerge=0/0, aggrticks=1944027/58321, aggrin_queue=2002347, aggrutil=100.00%
sda: ios=25429/2975, merge=0/0, ticks=1944027/58321, in_queue=2002347, util=100.00%
fio这个命令大家可能比较生疏,以下是这个命令的参数解释
filename=/dev/emcpowerb 支持文件系统或者裸设备,-filename=/dev/sda2或-filename=/dev/sdb
direct=1 测试过程绕过机器自带的buffer,使测试结果更真实
iodepth=1 如果 I/O 引擎是异步的,我们希望保持多大的队列深度?
rw=randwread 测试随机读的I/O
rw=randwrite 测试随机写的I/O
rw=randrw 测试随机混合写和读的I/O
rw=read 测试顺序读的I/O
rw=write 测试顺序写的I/O
rw=rw 测试顺序混合写和读的I/O
bs=4k 单次io的块文件大小为4k
bsrange=512-2048 同上,提定数据块的大小范围
size=5g 本次的测试文件大小为5g,以每次4k的io进行测试
numjobs=30 本次的测试线程为30
runtime=1000 测试时间为1000秒,如果不写则一直将5g文件分4k每次写完为止
time_based: 如果在runtime指定的时间还没到时文件就被读写完成,将继续重复直到runtime时间结束。
ioengine=psync io引擎使用pync方式,如果要使用libaio引擎,需要yum install libaio-devel包
rwmixwrite=30 在混合读写的模式下,写占30%
group_reporting 关于显示结果的,汇总每个进程的信息
此外
lockmem=1g 只使用1g内存进行测试
zero_buffers 用0初始化系统buffer
nrfiles=8 每个进程生成文件的数量
--ioengine=rbd表示用rbd引擎
--pool为存储卷所在的存储池,一般为“.硬盘池名.rbd” (H3C),
--rbdname为存储卷名,其他参数与fio跑普通卷无差异
以上是对io进行的测试,日常运维中还需要对磁盘的io运行情况进行查看
top命令
检查Cpu(s)这一列的wa值,wa值表示CPU用于磁盘IO操作的时间占比,正常情况下wa值不超过10%,如果长时间超过10%,说明系统磁盘IO操作很多,出现了IO队列堆积的情况
iotop
这个命令会列出当前所有IO操作的服务进程,并从大到小排序,对IO操作占比最大且最频繁的服务做进一步检查
对于iotop的输出解释如下
Total DISK READ: 从磁盘中读取的总速率
Total DISK WRITE: 往磁盘里写入的总速率
Actual DISK READ: 从磁盘中读取的实际速率
Actual DISK WRITE:往磁盘里写入的实际速率
TID: 线程ID,按p可转换成进程ID
PRIO: 优先级
USER: 线程所有者
DISK READ: 从磁盘中读取的速率
DISK WRITE: 往磁盘里写入的速率
SWAPIN: swap交换百分比
IO>: IO等待所占用的百分比
COMMAND: 具体的进程命令