iozone nas存储性能测试

nas存储性能测试报告

1 目的

用于测试4个服务器并发工作是nas带宽是否满足性能要求

 

2 环境说明

测试工具：iozone

测试客户端配置：虚拟机vcpu：4核（2.5Ghz）内存：4G虚拟网卡：1000M

 

Nas存储与测试客户端（4个转码服务器）中间的交换机带宽是1G。

所以被测试nas存储设备理想带宽值：125MB/s。

测试工具参数说明：

-a  Auto mode

-b Filename  Create Excel worksheet file

-c  Include close in the timing calculations

-F filenames  for each process/thread in throughput test

-g #  Set maximum file size (in Kbytes) for auto mode (or #m or #g)

-h  help

-i #  Test to run (0=write/rewrite, 1=read/re-read, 2=random-read/write

                 3=Read-backwards, 4=Re-write-record, 5=stride-read, 6=fwrite/re-fwrite

                 7=fread/Re-fread, 8=random_mix, 9=pwrite/Re-pwrite, 10=pread/Re-pread

                 11=pwritev/Re-pwritev, 12=preadv/Re-preadv)

-n #  Set minimum file size (in Kbytes) for auto mode (or #m or #g)

-r #  record size in Kb

              or -r #k .. size in Kb

              or -r #m .. size in Mb

              or -r #g .. size in Gb

-R  Generate Excel report

-s #  file size in Kb

              or -s #k .. size in Kb

              or -s #m .. size in Mb

              or -s #g .. size in Gb

-t #  Number of threads or processes to use in throughput test

-w  Do not unlink temporary file

-z  Used in conjunction with -a to test all possible record

 

 

 

3 测试用例说明

测试共分两部分

3.1第一部分：单机全局测试

通过该测试结果，获取并发测试参数。

测试命令：

./iozone -Razc -b z1.xls -q 1m -n 1m -g 8g -i 0 -i 1

命令说明：在所挂载nas存储目录执行上述命令，表示用iozone自动执行，测试文件大小从1m到8g，record size从4k到1m 执行读写。执行读写、重读重写测试。并将结果保存到z1.xls里面

 

3.2第二部分：4台客户端对本地nas存储进行并发测试。

 

3.2.1并发写：

通过securecrt录制脚本，同时登录4节点，执行登录脚本。

测试命令：

iozone -Rc -b /tmp/zresult`date +%N`.xls -t 1 -F /cmsSourceRepo/sgVideo/file`date +%N` -r 8k -s 8g -i0  -w

 

命令表示：对nas存储进行写和重写测试，并固定record size为8k，文件大小为8g 将结果保存到zresult`date +%N`.xls。测试文件/cmsSourceRepo/sgVideo/file`date +%N`测试完成后不删除

3.2.2并发读：

通过securecrt登录功能的ssh远程命令同时执行

测试命令：

iozone -Rc -b /tmp/read1.xls -t 1 -F /cmsSourceRepo/sgVideo/file6 -r 8k -s 8g -i1 -w

上述为节点1的测试命令，其余节点类似具体参数，请见附件

命令表示：对nas存储进行读和重读吞吐率测试，并固定record size为8k，文件大小8g，每台服务器线程数为1，测试文件路径/cmsSourceRepo/sgVideo/file6。并将结果保存到/tmp/read1.xls。测试完成后保留测试文件。

 

4 测试结果

4.1第一部分

4.1.1测试结果图如下：

 

 

 

 

 

 

4.1.2 结果分析

根据测试结果

写和重写测试io带宽在80-90MB/s之间

 

读和重读因为受到cpu缓存和内存缓存的影响，到测试文件大小大于4G后才是磁盘真正的性能。见测试结果图read report 和re-read report

所以磁盘的读和重读性能应该在114MB/s左右

 

备注：曲面图对应的详细参数值见附件z1.xls 总表

 

4.2 第二部分

根据第一部分的测试结果，得到测试文件8g左右比较合理因为此时读和重读测试不受cpu和内存的缓存影响，最接近真实值。

Record size的大小对测试结果影响较小，这里第二部分record size读写并发测试都取8k。

 

4.2.1 并发写

 

 

测试结果

测试项	节点1	节点2	节点3	节点4
Initial write	7929.07	7760.102	8489.572	8020.732
Rewrite	8161.139	8331.887	8279.222	8634.379
Output is in Kbytes/sec

 

结果分析：

每个节点写测试大概在8MB/s的io带宽，一共32MB/s，

备注：单机全局写测试大于80MB/s，理想并发读测试单节点应该在大于20MB/s,这里相差比较大。另外考虑到其他因素影响。用iozone多次测试，并发写测试都保持在单节点8MB左右。

 

4.2.2 并发读

测试结果

测试项	节点1	节点2	节点3	节点4
Read	31532.78	28762.88	28985.64	26236.4
Re-read	32634.79	36227.2	36123.18	39960.72
Output is in Kbytes/sec

 

结果分析：

每个节点读测试大概28.85MB/s 一共115MB/s

备注：单机全局读测试大概在114MB/s 。并发读测试总共带宽与单机全局测试结果比较吻合。