Linux IO压力测试工具FIO
FIO是一个命令行IO设备压力测试工具，具有较多的参数，命令有点长，但是也是优点之一，能控制的内容就很多。
FIO托管在github项目主页：https://github.com/axboe/fio
安装
ubuntu系统
sudo apt install fio -y
centos系统
yum install fio
参数说明
举例命令
sudo fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=1K -size=10M -numjobs=300 -runtime=1000 -group_reporting -name=mytest
说明：
filename=/dev/sdb1 测试文件名称，通常选择需要测试的盘的data目录。
direct=1 测试过程绕过机器自带的buffer。使测试结果更真实。
rw=randwrite 测试模式
=read 顺序读
=write 顺序写
=randwrite 随机写
=randread 随机读
=rw,readwrite 顺序混合读写
=randrw 随机混合读写
bs=4k 单次io的块文件大小为4k
bsrange=512-2048 同上，提定数据块的大小范围
size=5G 本次的测试文件大小为5g，以每次4k的io进行测试。
numjobs=30 本次的测试线程为30个
runtime=1000 测试时间为1000秒，如果不写则一直将5g文件分4k每次写完为止
iodepth 队列深度，只有使用libaio时才有意义。这是一个可以影响IOPS的参数。
ioengine=psync io引擎使用psync方式
=libaio Linux专有的异步IO
rwmixwrite=30 在混合读写的模式下，写占30%
group_reporting 关于显示结果的，汇总每个进程的信息。
lockmem=1G 只使用1g内存进行测试。
zero_buffers 用0初始化系统buffer。
nrfiles=8 每个进程生成文件的数量。
注意：指定设备文件的时候不要写错了，否则会导致数据丢失，比如/dev/sdb1写成/dev/sdb。就会丢失数据。
结果分析
BS 4KB randread test: (g=0): rw=randread, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=1
fio-2.1.10
Starting 1 thread
BS 4KB randread test: (groupid=0, jobs=1): err= 0: pid=26408: Mon Feb 27 16:43:07 2017
read : io=19908KB, bw=339689B/s, iops=82, runt= 60013msec
# fio做了19908KB的IO，bandwidth速率为339689B/s，总IOPS为82，运行时间为60013毫秒
slat (usec): min=18, max=97, avg=23.60, stdev= 2.79
# slat (submission latency)：代表 盘需要多久将IO提交到kernel做处理
# usec 微秒
clat (msec): min=1, max=23, avg=12.03, stdev= 3.79
# clat (completion latency)：命令提交到kernel到IO做完之间的时间，不包括submission latency
lat (msec): min=1, max=23, avg=12.05, stdev= 3.79
# 从IO结构体创建时刻开始，直到紧接着clat完成的时间
clat percentiles (usec):
| 1.00th=[ 4080], 5.00th=[ 5984], 10.00th=[ 7136], 20.00th=[ 8640],
| 30.00th=[ 9920], 40.00th=[10944], 50.00th=[11840], 60.00th=[12992],
| 70.00th=[14016], 80.00th=[15296], 90.00th=[17024], 95.00th=[18560],
| 99.00th=[20864], 99.50th=[21632], 99.90th=[22400], 99.95th=[22912],
| 99.99th=[23168]
# Completion latency百分数
bw (KB /s): min= 276, max= 373, per=100.00%, avg=331.54, stdev=18.83
# 带宽(bandwidth)
lat (msec) : 2=0.02%, 4=0.82%, 10=30.32%, 20=66.75%, 50=2.09%
# 30.32%的request延迟在4~10毫秒，66.75%的request延迟在10~20毫秒，以此类推
cpu : usr=0.10%, sys=0.25%, ctx=5057, majf=0, minf=8
# 用户/系统CPU占用率，进程上下文切换(context switch)次数，主要和次要(major and minor)页面错误数量(page faults)。由于测试是配置成使用直接IO，page faults数量应该极少。
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
# iodepth设置，用来控制同一时刻发送给OS多少个IO。这完全是纯应用层面的行为，和盘的IO queue不是一回事
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
#submit和complete代表同一时间段内fio发送上去和已完成的IO数量
issued : total=r=4977/w=0/d=0, short=r=0/w=0/d=0
# 发送的IO数量
latency : target=0, window=0, percentile=100.00%, depth=1
# Fio可以配置一个延迟目标值，这个值可以调节吞吐量直到达到预设的延迟目标
Run status group 0 (all jobs):
# Fio支持把不同的测试聚合
READ: io=19908KB, aggrb=331KB/s, minb=331KB/s, maxb=331KB/s, mint=60013msec, maxt=60013msec
# 汇总输出吞吐量和时间。
# io=表示总共完成的IO数量。在基于时间的测试中这是一个变量，在基于容量的测试中，这个值能匹配size参数。
# aggrb是所有进程/设备的汇总带宽。
# minb/maxb表示测量到的最小/最大带宽。
# mint/maxt表示测试的最短和最长耗时。和io=参数类似，时间值对于基于时间的测试应该能匹配runtime参数，对于基于容量的测试是一个变量。
Disk stats (read/write):
sdd: ios=4969/0, merge=0/0, ticks=59703/0, in_queue=59702, util=99.51%
io=执行了多少M的IO
bw=平均IO带宽
iops=IOPS
runt=线程运行时间
slat=提交延迟
clat=完成延迟
lat=响应时间
bw=带宽
cpu=利用率
IO depths=io队列
IO submit=单个IO提交要提交的IO数
IO complete=Like the above submit number, but for completions instead.
IO issued=The number of read/write requests issued, and how many of them were short.
IO latencies=IO完延迟的分布
io=总共执行了多少size的IO
aggrb=group总带宽
minb=最小.平均带宽.
maxb=最大平均带宽.
mint=group中线程的最短运行时间.
maxt=group中线程的最长运行时间.
ios=所有group总共执行的IO数.
merge=总共发生的IO合并数.
ticks=Number of ticks we kept the disk busy.
io_queue=花费在队列上的总共时间.
util=磁盘利用率
以上文章大部分参考
https://blog.csdn.net/jiecxy/article/details/58197387
，感谢博主的好文