测试工具（spec2006及Lmbench）讲解及数据分析
测试工具讲解及数据分析
计算机的性能最本质的定义是“完成一个任务所需要的时间”
目录
测试工具讲解及数据分析
1.SPECCPU2006
1.1描述
1.2组织
1.3官方网站
1.4功能
1.5 测试项目
1.6 测试方法
1.7数据分析
2.lmbench
2.1描述
2.2组织
2.3官方网站
2.4功能
2.5测试方法
2.6测试数据分析
1.SPECCPU2006
1.1描述
SPEC CPU 2006是SPEC组织推出的CPU子系统评估软件软件。
1.2组织
SPEC是标准性能评估公司（Standard Performance Evaluation Corporation）的简称。SPEC是由计算机厂商、系统集成商、大学、研究机构、咨询等多家公司组成的非营利性组织，这个组织的目标是建立、维护一套用于评估计算机系统的标准。
1.3官方网站
http://www.spec.org/cpu2006/
1.4功能
CINT2006包括C编译程序、量子计算机仿真、下象棋程序等，CFP2006包括有限元模型结构化网格法、分子动力学质点法、流体动力学稀疏线性代数法等。为了简化测试结果，SPEC决定使用单一的数字来归纳所有12种整数基准程序。具体方法是将被测计算机的执行时间标准化，即将被测计算机的执行时间除一个参考处理器的执行时间，结果称为SPECratio。SPECratio值越大，表示性能越快（因为SPECratio是执行时间的倒数）。CINT2006或CFP2006的综合测试结果是取SPECratio的几何平均值。
1.5 测试项目
| SPEC CPU 2006 v1.0.1测试项目 |
|||
| 子项目 |
语言 |
原型/组件 |
说明 |
| 整数测试 |
|||
| 400.perlbenchPERL编程语言 |
ANSI C |
Perl v5.8.7 SpamAssassin v2.61Digest-MD5 v2.33HTML-Parser v3.35MHonArc v2.6. 8IO-stringy v1.205MailTools v1.60TimeDate v1.16 |
负载由三个script组成：主负载是垃圾邮件检测软件SpamAssassin，一个是email到HTML的转换器MHonArc，最后一个是specdiff |
| 401.bzip2 |
ANSI C |
bzip2 v1.0.3 |
负载包括六个部分： |
| 403.gcc |
C |
gcc v3.2 |
对9组C代码进行了编译 |
| 429.mcf |
ANSI C w/libm |
MCF v1.2 |
MCF是一个用于大型公共交通中的单站车辆调度的程序 |
| 445.gobmk |
C |
|
围棋 |
| 456.hmmer |
C |
|
使用HMMS(Hidden Markov Models，隐马尔科夫模型) 基因识别方法进行基因序列搜索 |
| 458.sjeng |
ANSI C |
Sjeng v11.2 |
国际象棋 |
| 462.libquantum |
ISO/IEC 9899:1999("C99") |
|
libquantum是模拟量子计算机的库文件，用来进行量子计算机应用的研究 |
| 464.h264ref |
C |
h264avc v9.3 |
使用两种配置对两个YUV格式源文件进行H.264编码 |
| 471.omnetpp |
C++ |
OMNeT++ |
包括约8000台计算机和900个交换机/集线器，以及混合了各种从10Mb到1000Mb速率的大型CSMA/CD协议以太网络模拟 |
| 473.astar |
C++ |
|
实现了2D寻路算法A*的三种不同版本 |
| 483.xalancbmk |
C++ |
Xalan-C++ v1.8 mod |
XML文档/XSL表到HTML文档的转换 |
| 浮点测试 |
|||
| 410.bwaves |
Fortran 77 |
|
对三维瞬跨音速粘性流中冲击波的模拟计算 |
| 416.gamess |
Fortran |
GMAESS |
三种SCF自洽场计算： |
| 433.milc |
C |
MILC |
四维SU(3)格点规范理论的模拟，用来研究QCD量子色动力学、夸克及胶子 |
| 434.zeusmp |
Fortran 77/REAL*8 |
ZEUS-MP |
用来计算理想、非相对论条件下的流体力学和磁流体力学，434.zeusmp模拟计算了一个统一磁场中的3D冲击波 |
| 435.gromacs |
C & Fortran |
GROMACS |
GROMACS是一个分子力学计算套件，然而也可以用于非生物系统，435.gromacs模拟了在一个水和离子溶液中的蛋白质溶菌酶结构在各种实验手段如核磁共振的X光照射下的变化 |
| 436.cactusADM |
Fortran 90, ANSI C |
Cactus |
436.cactusADM对时空曲率由内部物质决定的爱因斯坦演化方程进行求解，爱因斯坦演化方程由10个标准ADM 3+1分解的二阶非线性偏微分方程组成。 |
| 437.leslie3d |
Fortran 90 |
LESlie3d |
LESlie3d是用来计算湍流的计算流体力学程序，437.leslie3d计算了一个如燃油注入燃烧室的时间分层混合流体。 |
| 444.namd |
C++ |
NAMD |
NAMD是一个大型生物分子系统并行计算程序，444.namd模拟了了92224个原子组成的A-I载脂蛋白 |
| 447.dealII |
C++ w/Boost lib |
deal.II lib |
deal.II是定位于自适应有限元及误差估计的C++库，447.dealII对非常系数的亥姆霍兹方程进行求解，它使用了基于二元加权误差估计生成最佳网格的自适应方法，该方程在3维得解 |
| 450.soplex |
ANSI C++ |
SoPlex v1.2.1 |
SoPlex使用单纯形算法解线性方程 |
| 453.povray |
ISO C++ |
POV-Ray |
POV-Ray是一个光线追踪渲染软件，453.povray渲染一幅1280x1024的反锯齿国际象棋棋盘图像 |
| 454.calculix |
Fortran 90 & C w/SPOOLES code |
CalculiX |
CalculiX是一个用于线性及非线性三位结构力学的有限元分析软件，454.calculix计算了一个高速旋转的压缩盘片在离心力的作用下的应力和变形情况 |
| 459.GemsFDTD |
Fortran 90 |
GmesTD from GEMS |
459.GemsFDTD使用FDTD（有限差分时域）方法求解三维时域中的麦克斯韦方程，计算了一个理想导体的雷达散射截面 |
| 465.tonto |
Fortran 95 |
Tonto |
Tonto是一个面向对象的量子化学程序包，465.tonto计算面向量子晶体学，它基于一个符合X光衍射实验数据的、约束的分子Hartree-Fock波函数 |
| 470.lbm |
ANSI C |
|
470.lbm使用LBM（格子波尔兹曼方法）模拟非压缩流体，它模拟了两种情况：类似活塞推动的剪切驱动流体和管道流体，测试包含了3000个步骤 |
| 481.wrf |
Fortran 90 & C |
WRF v2.0.2 |
481.wrf基于WRF(Weather Research and Forecastin)模型，对NCAR的数据进行了计算，数据包括了UTC 2001.06.11到UTC 2001.06.12以三小时为间隔的数据 |
| 482.sphinx3 |
C |
Sphinx-3 |
语音识别 |
1.6 测试方法
runspec -c test.cfg -i ref -n 1 all -I 单核测试所有项整型浮点型
runspec -c test.cfg -i ref -r 8 -n 3 all -I 八核测试三次测试所有项整型浮点型
--rate(-r) 核数
-n 测试次数
1.7数据分析
1.7.1在生成的CINT2006.xxx.txt
##############################################################################
# INVALID RUN -- INVALID RUN -- INVALID RUN -- INVALID RUN -- INVALID RUN #
# #
# 'reportable' flag not set during run #
# 471.omnetpp peak did not have enough runs! #
# 456.hmmer peak did not have enough runs! #
# 445.gobmk peak did not have enough runs! #
# 458.sjeng peak did not have enough runs! #
# 429.mcf peak did not have enough runs! #
# 473.astar peak did not have enough runs! #
# 483.xalancbmk peak did not have enough runs! #
# 400.perlbench peak did not have enough runs! #
# 464.h264ref peak did not have enough runs! #
# 462.libquantum peak did not have enough runs! #
# 401.bzip2 peak did not have enough runs! #
# 403.gcc peak did not have enough runs! #
# No 'base' runs! Base measurement required! #
# Error 483.xalancbmk: 483.xalancbmk: copy #0 non-zero return code (rc=254, signal=0) #
# Error 483.xalancbmk: Output miscompare #
# #
# INVALID RUN -- INVALID RUN -- INVALID RUN -- INVALID RUN -- INVALID RUN #
##############################################################################
SPEC CINT2006 Summary
Loongson 3A2000
Tue Nov 5 16:35:16 2019
SPEC License #0 Test date: May-2015 Hardware availability: May-2015
Test sponsor: Loongson Software availability: May-2015
Estimated Estimated
Base Base Base Peak Peak Peak
Benchmarks Ref. Run Time Ratio Ref. Run Time Ratio
-------------- ------ --------- --------- ------ --------- ---------
400.perlbench 9770 1204 8.12 *
401.bzip2 9650 1628 5.93 *
403.gcc 8050 773 10.4 *
429.mcf 9120 665 13.7 *
445.gobmk 10490 1077 9.74 *
456.hmmer 9330 1166 8.00 *
458.sjeng 12100 1467 8.25 *
462.libquantum 20720 765 27.1 *
464.h264ref 22130 2136 10.4 *
471.omnetpp 6250 1009 6.20 *
473.astar 7020 887 7.91 *
483.xalancbmk 6900 0.0200 RE
==============================================================================
400.perlbench 9770 1204 8.12 *
401.bzip2 9650 1628 5.93 *
403.gcc 8050 773 10.4 *
429.mcf 9120 665 13.7 *
445.gobmk 10490 1077 9.74 *
456.hmmer 9330 1166 8.00 *
458.sjeng 12100 1467 8.25 *
462.libquantum 20720 765 27.1 *
464.h264ref 22130 2136 10.4 *
471.omnetpp 6250 1009 6.20 *
473.astar 7020 887 7.91 *
483.xalancbmk NR
Est. SPECint_base2006 0.00
Est. SPECint2006 Not Run
HARDWARE
--------
CPU Name: Loongson
CPU Characteristics:
CPU MHz: 800
FPU: Integrated
CPU(s) enabled: 1 core, 1 chip, 1 core/chip
CPU(s) orderable: 1
Primary Cache: 64KB I + 64KB D
Secondary Cache: 4096KB(I + D)
L3 Cache: --
Other Cache: --
Memory: 2 x 2GB DDR333
Disk Subsystem: --
Other Hardware: --
SOFTWARE
--------
Operating System: Centos6.4
Compiler: gcc , g++ & gfortran 4.4
Auto Parallel: --
File System: ext3
System State: runlevel 3
Other Software: --
General Notes
-------------
400.perlbench: -DSPEC_CPU_LINUX_IA32
462.libquantum: -DSPEC_CPU_LINUX
C/C++ base flags: -O2
Fortran base flags: -O2
1.7.1在生成的CFP2006.xxx.txt
SPEC License #0 Test date: May-2015 Hardware availability: May-2015
Test sponsor: Loongson Software availability: May-2015
Estimated Estimated
Base Base Base Peak Peak Peak
Benchmarks Ref. Run Time Ratio Ref. Run Time Ratio
-------------- ------ --------- --------- ------ --------- ---------
410.bwaves 13590 1210 11.2 *
416.gamess 19580 2375 8.24 *
433.milc 9180 982 9.34 *
434.zeusmp 9100 947 9.61 *
435.gromacs 7140 1438 4.96 *
436.cactusADM 11950 6619 1.81 *
437.leslie3d 9400 1044 9.01 *
444.namd 8020 1111 7.22 *
447.dealII 11440 666 17.2 *
450.soplex 8340 1034 8.07 *
453.povray 5320 562 9.46 *
454.calculix 8250 1022 8.07 *
459.GemsFDTD 10610 1806 5.88 *
465.tonto 9840 1706 5.77 *
470.lbm 13740 937 14.7 *
481.wrf 11170 1927 5.80 *
482.sphinx3 19490 1720 11.3 *
==============================================================================
410.bwaves 13590 1210 11.2 *
416.gamess 19580 2375 8.24 *
433.milc 9180 982 9.34 *
434.zeusmp 9100 947 9.61 *
435.gromacs 7140 1438 4.96 *
436.cactusADM 11950 6619 1.81 *
437.leslie3d 9400 1044 9.01 *
444.namd 8020 1111 7.22 *
447.dealII 11440 666 17.2 *
450.soplex 8340 1034 8.07 *
453.povray 5320 562 9.46 *
454.calculix 8250 1022 8.07 *
459.GemsFDTD 10610 1806 5.88 *
465.tonto 9840 1706 5.77 *
470.lbm 13740 937 14.7 *
481.wrf 11170 1927 5.80 *
482.sphinx3 19490 1720 11.3 *
Est. SPECfp_base2006 0.00
Est. SPECfp2006 Not Run
HARDWARE
2.lmbench
2.1描述
Lmbench 是一套简易可移植的，符合ANSI/C 标准为UNIX/POSIX 而制定的微型测评工具。一般来说，它衡量两个关键特征：反应时间和带宽。Lmbench 旨在使系统开发者深入了解关键操作的基础成本。
2.2组织
ANSI/C 标准为UNIX/POSIX 而制定的微型测评工具
2.3官方网站
http://www.bitmover.com/lmbench/
2.4功能
| 带宽测评工具 |
反应时间测评工具 |
其他 |
| 读取缓存文件 拷贝内存 读内存 写内存 管道 TCP |
上下文切换 网络：连接的建立，管道，TCP，UDP 和RPC hot potato 文件系统的建立和删除 进程创建 信号处理 上层的系统调用 内存读入反应时间 |
处理器时钟比率计算 |
2.5测试方法
make results 详细见测试方法文档
2.6测试数据分析
summary.out
L M B E N C H 3 . 0 S U M M A R Y
------------------------------------
(Alpha software, do not distribute)
Basic system parameters
------------------------------------------------------------------------------
Host OS Description Mhz tlb cache mem scal
pages line par load
bytes
--------- ------------- ----------------------- ---- ----- ----- ------ ----
localhost Linux 2.6.36. mips64el-linux-gnu 899 64 32 4.3200 1
localhost Linux 2.6.36. mips64el-linux-gnu 899 64 32 4.4300 1
Processor, Processes - times in microseconds - smaller is better
------------------------------------------------------------------------------
Host OS Mhz null null open slct sig sig fork exec sh
call I/O stat clos TCP inst hndl proc proc proc
--------- ------------- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----
localhost Linux 2.6.36. 899 0.46 0.93 9.99 14.5 17.0 0.98 4.33 482. 1733 9723
localhost Linux 2.6.36. 899 0.46 0.93 9.95 14.3 17.0 0.98 4.34 486. 1727 9847
Basic integer operations - times in nanoseconds - smaller is better
-------------------------------------------------------------------
Host OS intgr intgr intgr intgr intgr
bit add mul div mod
--------- ------------- ------ ------ ------ ------ ------
baixin-PC Linux 4.19.34 0.3900 0.3800 3.2700 3.8500
localhost Linux 2.6.36. 2.2300 2.2200 1.4500 29.5 17.8
localhost Linux 2.6.36. 2.2300 2.2300 1.4500 29.5 17.8
Basic uint64 operations - times in nanoseconds - smaller is better
------------------------------------------------------------------
Host OS int64 int64 int64 int64 int64
bit add mul div mod
--------- ------------- ------ ------ ------ ------ ------
localhost Linux 2.6.36. 2.230 5.5600 278.2 254.8
localhost Linux 2.6.36. 2.220 5.5600 280.9 255.9
Basic float operations - times in nanoseconds - smaller is better
-----------------------------------------------------------------
Host OS float float float float
add mul div bogo
--------- ------------- ------ ------ ------ ------
localhost Linux 2.6.36. 7.7900 7.7900 14.5 36.7
localhost Linux 2.6.36. 7.7900 7.7900 14.5 36.7
Basic double operations - times in nanoseconds - smaller is better
------------------------------------------------------------------
Host OS double double double double
add mul div bogo
--------- ------------- ------ ------ ------ ------
baixin-PC Linux 4.19.34 1.5400 1.9200 6.9300 6.9300
localhost Linux 2.6.36. 7.7900 7.7900 22.2 51.8
localhost Linux 2.6.36. 7.7900 7.7900 22.2 51.8
Context switching - times in microseconds - smaller is better
-------------------------------------------------------------------------
Host OS 2p/0K 2p/16K 2p/64K 8p/16K 8p/64K 16p/16K 16p/64K
ctxsw ctxsw ctxsw ctxsw ctxsw ctxsw ctxsw
--------- ------------- ------ ------ ------ ------ ------ ------- -------
localhost Linux 2.6.36. 2.1000 2.4800 15.5 21.0 18.5 22.2 34.7
localhost Linux 2.6.36. 2.6300 2.6100 15.7 9.7600 31.6 15.8 28.9
*Local* Communication latencies in microseconds - smaller is better
---------------------------------------------------------------------
Host OS 2p/0K Pipe AF UDP RPC/ TCP RPC/ TCP
ctxsw UNIX UDP TCP conn
--------- ------------- ----- ----- ---- ----- ----- ----- ----- ----
localhost Linux 2.6.36. 2.100 14.7 24.9 32.6 58.1 46.9 78.1 216.
localhost Linux 2.6.36. 2.630 14.7 25.0 32.9 58.5 46.4 77.4 217.
*Remote* Communication latencies in microseconds - smaller is better
---------------------------------------------------------------------
Host OS UDP RPC/ TCP RPC/ TCP
UDP TCP conn
--------- ------------- ----- ----- ----- ----- ----
localhost Linux 2.6.36.
localhost Linux 2.6.36.
File & VM system latencies in microseconds - smaller is better
-------------------------------------------------------------------------------
Host OS 0K File 10K File Mmap Prot Page 100fd
Create Delete Create Delete Latency Fault Fault selct
--------- ------------- ------ ------ ------ ------ ------- ----- ------- -----
localhost Linux 2.6.36. 51.1 43.7 134.0 67.3 1131.0 1.327 4.14750 9.472
localhost Linux 2.6.36. 51.6 43.0 134.7 67.4 1111.0 1.332 4.14210 9.474
*Local* Communication bandwidths in MB/s - bigger is better
-----------------------------------------------------------------------------
Host OS Pipe AF TCP File Mmap Bcopy Bcopy Mem Mem
UNIX reread reread (libc) (hand) read write
--------- ------------- ---- ---- ---- ------ ------ ------ ------ ---- -----
localhost Linux 2.6.36. 609. 554. 31.2 385.9 369.5 136.1 137.2 366. 251.6
localhost Linux 2.6.36. 590. 555. 34.9 385.6 370.1 125.1 124.1 366. 207.1
Memory latencies in nanoseconds - smaller is better
(WARNING - may not be correct, check graphs)
------------------------------------------------------------------------------
Host OS Mhz L1 $ L2 $ Main mem Rand mem Guesses
--------- ------------- --- ---- ---- -------- -------- -------
localhost Linux 2.6.36. 899 5.5630 33.2 164.6 384.9
localhost Linux 2.6.36. 899 5.5610 33.1 164.8 385.5