mfs测试

续1

6. 参考文献：
6.1 文献
http://sery.blog.51cto.com/10037/263515  田逸
http://bbs.chinaunix.net/thread-1643863-1-1.html  ltgzs777  
http://www.moosefs.org/  官网
http://bbs.chinaunix.net/thread-1643015-1-2.html   测试工具


6.1  测试数据  

性能测试模型1  
一个不知道名字的哥们的测试结果，我先贴出来，那哥们看到了密我.

小文件性能测试
二级100*100文件夹	创建	列表	删除
单片15k.5 ext3 client单进程	real 0m0.762s user 0m0.048s sys 0m0.261s	real 0m0.179s user 0m0.036s sys 0m0.125s	real 0m0.492s user 0m0.036s sys 0m0.456s
单片15k.5 ext3 client 10并发进程	最长时间： real 0m0.724s user 0m0.015s sys 0m0.123s	最长时间： real 0m0.057s user 0m0.006s sys 0m0.025s	最长时间： real 0m0.226s user 0m0.010s sys 0m0.070s
6chunkserver cache client单进程	real 0m2.084s user 0m0.036s sys 0m0.252s	real 0m4.964s user 0m0.043s sys 0m0.615s	real 0m6.661s user 0m0.046s sys 0m0.868s
6chunkserver cache client 10并发进程	最长时间： real 0m1.422s user 0m0.007s sys 0m0.050s	最长时间： real 0m2.022s user 0m0.008s sys 0m0.108s	最长时间： real 0m2.318s user 0m0.008s sys 0m0.136s
二级1000*1000文件夹	创建	列表	删除
单片15k.5 ext3 client单进程	real 11m37.531s user 0m4.363s sys 0m37.362s	real 39m56.940s user 0m9.277s sys 0m48.261s	real 41m57.803s user 0m10.453s sys 3m11.808s
单片15k.5 ext3 client 10并发进程	最长时间： real 11m7.703s user 0m0.519s sys 0m10.616s	最长时间： real 39m30.678s user 0m1.031s sys 0m4.962s	最长时间： real 40m23.018s user 0m1.043s sys 0m19.618s
6chunkserver cache client单进程	real 3m17.913s user 0m3.268s sys 0m30.192s	real 11m56.645s user 0m3.810s sys 1m10.387s	real 12m14.900s user 0m3.799s sys 1m26.632s
6chunkserver cache client 10并发进程	最长时间： real 1m13.666s user 0m0.328s sys 0m3.295s	最长时间： real 4m31.761s user 0m0.531s sys 0m10.235s	最长时间： real 4m26.962s user 0m0.663s sys 0m13.117s
三级100*100*100文件夹	创建	列表	删除
单片15k.5 ext3 client单进程	real 9m51.331s user 0m4.036s sys 0m32.597s	real 27m24.615s user 0m8.907s sys 0m44.240s	real 28m17.194s user 0m10.644s sys 1m34.998s
单片15k.5 ext3 client 10进程	最长时间： real 10m22.170s user 0m0.580s sys 0m11.720s	最长时间： real 33m32.386s user 0m1.127s sys 0m5.280s	最长时间： real 33m7.808s user 0m1.196s sys 0m10.588s
6chunkserver cache client单进程	real 3m21.720s user 0m3.089s sys 0m26.635s	real 9m26.535s user 0m3.901s sys 1m11.756s	real 10m51.558s user 0m4.186s sys 1m26.322s
6chunkserver cache client 10并发进程	最长时间： real 1m23.023s user 0m0.429s sys 0m3.869s	最长时间： real 4m10.617s user 0m0.643s sys 0m11.588s	最长时间： real 4m20.137s user 0m0.649s sys 0m14.120s
6chunkserver cache client 50并发进程	最长时间： real 1m26.388s user 0m0.074s sys 0m0.679s	最长时间： real 4m37.102s user 0m0.132s sys 0m2.160s	最长时间： real 4m37.392s user 0m0.132s sys 0m2.755s
6chunkserver cache client 100并发进程	最长时间： real 1m29.338s user 0m0.062s sys 0m0.363s	最长时间： real 4m54.925s user 0m0.069s sys 0m1.212s	最长时间： real 4m35.845s user 0m0.068s sys 0m1.640s
6chunkserver cache remote client 10并发进程	最长时间： real 4m0.411s user 0m2.985s sys 0m12.287s	最长时间： real 8m31.351s user 0m4.223s sys 0m29.800s	最长时间： real 4m3.271s user 0m3.206s sys 0m11.922s
三级100*100*100文件夹	1	2	3	4	5
变更日志/元数据大小	55M左右	60M左右	60M左右	60M左右	60M左右
连续创建耗时	real 4m0.411s user 0m2.985s sys 0m12.287s	real 4m12.309s user 0m3.039s sys 0m12.899s	real 4m14.010s user 0m3.418s sys 0m12.831s	real 4m14.214s user 0m3.247s sys 0m12.871s	real 4m14.417s user 0m3.170s sys 0m12.948s

 

注：	单盘多进程性能没有提升，因为都在io wait，甚至增加进程会消耗大量调度时间
	MFS多进程时性能会提升，主要性能消耗集中在CPU系统时间。因此实际海量小文件性能要大大强于本地文件系统

性能测试模型2 （感谢 qq群战友 痞子白 提供）
两个Client同时dd测试
数据块1M 文件大小20G
Client1 写：68.4MB/s  读：25.3MB/s
Client2 写：67.5MB/s  读：24.7MB/s
总吞吐：写：135.9MB/s 读：50.0MB/s

写命令：dd if=/dev/zero of=/mfs/test.1 bs=1M count=20000
读命令：dd if=/mfs/test.1 of=/dev/null bs=1M


7. 感谢
田逸
一个不知道名字的哥们（看到请联系我）



8. 附录
8.1  1000 * 1000 * 1 client 脚本
#!/bin/bash
for ((i=0;i<1000;i++))
do
    mkdir ${i}
    cd ${i}
    for ((j=0;j<1000;j++))
      do
        cp /mnt/test ${j}
      done
      cd ..
done
8.2  1000  * 1000  *  （ 100，200 ,1000 client )  脚本
#!/bin/bash
declare -f make_1000_dir_file
cd `pwd`
function make_1000_dir_file {
    start=${1}
    stop=${2}
    for ((i=${start};i<${stop};i++))
    do
        mkdir ${i}
        for ((j=0;j<1000;j++))
        do
            cp /mnt/test ${i}/${j}
        done
    done
}
i=1
while [ ${i} -le 1000 ]
do
    ((n=${i}+1))
    make_1000_dir_file ${i} $ &
    ((i=${i}+1))
done
wait