TPC-MySQL测试的安装、使用与结果分析
一、TPC、tpc-c与tpc-mysql
TPC:全称Transaction Processing Performance Council，是一家非盈利组织，该组织制定各种商业应用的基准测试规范，任意厂商或个人，都可以按照其规范来开发自己的应用程序。
tpc-c：由TPC推出的一套基准测试程序，主要用于联机事务类应用的测试，最后的c仅是序号，a\b\d\R\W都废弃了。Tpc-c没有废弃，是套基准，不管是有了新硬件，还是软件出了新版本，为显示新产品的优势，需要拿出些数值做对比，tpcc就是数值之一，各大厂商都着力在吹。tpc-c针对连接事务类应利用和决策支持类应用（数据仓库），另有一套标准，叫tpc-h。tpcc-msyql：有Percona基于TPCC规范开发的一套MySQL基准测试程序。
tpcc-mysql的下载地址为：
https://code.launchpad.net/~percona-dev/perconatools/tpcc-mysql
二、tpcc-mysql软件的编译安装
该软件的下载和安装过程如下：# yum install bzr -y --安装bzr工具包
Loaded plugins: fastestmirror, refresh-packagekit, security
Loading mirror speeds from cached hostfile
* base: mirror.bit.edu.cn
* extras: mirror.bit.edu.cn
* updates: mirror.bit.edu.cn
base | 3.7 kB 00:00
extras | 3.4 kB 00:00
updates | 3.4 kB 00:00
Setting up Install Process
Resolving Dependencies
--> Running transaction check
---> Package bzr.x86_64 0:2.1.1-2.el6 will be installed
--> Finished Dependency Resolution
Dependencies Resolved
================================================================================
Package Arch Version Repository Size
================================================================================
Installing:
bzr x86_64 2.1.1-2.el6 base 5.3 M
Transaction Summary
================================================================================
Install 1 Package(s)
Total download size: 5.3 M
Installed size: 23 M
Downloading Packages:
bzr-2.1.1-2.el6.x86_64.rpm | 5.3 MB 00:01
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
Installing : bzr-2.1.1-2.el6.x86_64 1/1
Verifying : bzr-2.1.1-2.el6.x86_64 1/1
Installed:
bzr.x86_64 0:2.1.1-2.el6
Complete!
# bzr branch lp:~percona-dev/perconatools/tpcc-mysql
You have not informed bzr of your Launchpad ID, and you must do this to
write to Launchpad or access private data. See "bzr help launchpad-login".
Branched 48 revision(s).
# export PATH=/usr/local/mysql/bin:$PATH
# cd tpcc-mysql/src
# make
cc -w -O2 -g -I. `mysql_config --include` -c load.c
cc -w -O2 -g -I. `mysql_config --include` -c support.c
cc load.o support.o `mysql_config --libs_r` -lrt -o ../tpcc_load
cc -w -O2 -g -I. `mysql_config --include` -c main.c
cc -w -O2 -g -I. `mysql_config --include` -c spt_proc.c
cc -w -O2 -g -I. `mysql_config --include` -c driver.c
cc -w -O2 -g -I. `mysql_config --include` -c sequence.c
cc -w -O2 -g -I. `mysql_config --include` -c rthist.c
cc -w -O2 -g -I. `mysql_config --include` -c neword.c
cc -w -O2 -g -I. `mysql_config --include` -c payment.c
cc -w -O2 -g -I. `mysql_config --include` -c ordstat.c
cc -w -O2 -g -I. `mysql_config --include` -c delivery.c
cc -w -O2 -g -I. `mysql_config --include` -c slev.c
cc main.o spt_proc.o driver.o support.o sequence.o rthist.o neword.o payment.o ordstat.o delivery.o slev.o `mysql_config --libs_r` -lrt -o ../tpcc_start
tpcc_load：用于初始化数据
tpcc_start：用于执行基准测试
在测试时，需要先执行（且只执行一次）tpcc_load命令，然后在执行tpcc_start，但在执行前要创建需要的表和索引。
三、创建数据库预订数据
创建测试数据库并导入预订脚本：
# mysqladmin -u root -p create tpcc100 //创建所需的数据库
mysql$ mysql -u root -p tpcc < create_table.sql //导入表结构
mysql$ mysql -u root -p tpcc < add_fkey_idx.sql //创建表索引及FK等
[root@racdb2 tpcc-mysql]# ./tpcc_load help
usage: tpcc_load [server] [DB] [user] [pass] [warehouse]
OR
tpcc_load [server] [DB] [user] [pass] [warehouse] [part] [min_wh] [max_wh]
* [part]: 1=ITEMS 2=WAREHOUSE 3=CUSTOMER 4=ORDERS
例如：创建100个数据仓库并填充数据
[root@racdb2 tpcc-mysql]# ./tpcc_load localhost tpcc100 root 'rootpassword' 100
四、增加参数，执行tpcc_load初始化数据
注意为了保证下面两个脚本能够执行成功，建议在.bash_profile文件中增加如下参数：# parameters for tpcc-mysql
export MYSQL_HOME=/usr/local/mysql
export C_INCLUDE_PATH=$MYSQL_HOME/include --避免找不到MySQL的头文件的错误
export PATH=$MYSQL_HOME/bin:$PATH --避免找不到mysql_config程序的错误
export LD_LIBRARY_PATH=$MYSQL_HOME/lib:$LD_LIBRARY_PATH --避免找不到mysql库的错误
上述参数生效后，根据语法，执行tpcc_load初始化数据的命令：
$ cd /data/setup/tpcc-mysql/
$ ./tpcc_load 172.32.1.203 tpcc root "123456" 10
输出结果如下：
*************************************
*** ###easy### TPC-C Data Loader ***
*************************************
<Parameters>
[server]: 172.32.1.203
[port]: 3306
[DBname]: tpcc
[user]: root
[pass]: 123456
[warehouse]: 10
TPCC Data Load Started...
Loading Item
.................................................. 5000
..................................................
Loading Orders for D=10, W= 10
.......... 1000
.......... 2000
.......... 3000
Orders Done.
...DATA LOADING COMPLETED SUCCESSFULLY.
返回结果需要运行一段时间，一次有仓库、商品、订单等，具体信息可以不用关注，最后操作完成后，会提示数据加载完成。
详细信息参见：http://blog.csdn.net/yumushui/article/details/37762517
五、执行tpcc_start执行基准测试
初始化数据完成后，就可以使用tpcc_start进行基准测试，该命令行工具支持的参数如下：Usage:tpcc_start -h server_host -P port -d database_name -u mysql_user -p mysql_password -w warehouses -c connections -r warmup_time -l running_time -i report_interval -f report_file -t trx_file
前面是与mysql连接的参数，后面参数的意义如下：
-r warmup_time:指定预热时间，以秒为单位，默认是10秒，主要目的是为了将数据加载到内存；
-l running_time:指定测试执行时间，以秒为单位，默认是20秒；
-i report_interval:指定生产报告的时间间隔；
-f report_file:将测试中各项操作的记录输出到指定文件内保存；
-t trx_file:输出更详细的操作信息到指定文件内保存；
$ /data/setup/tpcc-mysql/tpcc_start -h 172.32.1.203 -d tpcc -u root -p "123456" -w 10 -c 10 -r 100 -l 300 -f /home/mysql/tpcc_mysql.log -t /home/mysql/tpcc_mysql.rtx
***************************************
*** ###easy### TPC-C Load Generator ***
***************************************
option h with value '172.32.1.203'
option d with value 'tpcc'
option u with value 'root'
option p with value '123456'
option w with value '10'
option c with value '10'
option r with value '100'
option l with value '300'
option f with value '/home/mysql/tpcc_mysql.log'
option t with value '/home/mysql/tpcc_mysql.rtx'
<Parameters>
[server]: 172.32.1.203
[port]: 3306
[DBname]: tpcc
[user]: root
[pass]: 123456
[warehouse]: 10
[connection]: 10
[rampup]: 100 (sec.)
[measure]: 300 (sec.)
RAMP-UP TIME.(100 sec.)
返回信息中的内容比较有意义，首先是执行命令时指定的参数信息，格式清晰。接下来需要等一会，指定的预热及测试的时间，只是得7分钟。测试返回的结果是：
10, 2948(20):2.161|302.746, 2950(4):0.666|186.816, 294(0):0.365|21.915, 296(0):8.277|291.135, 295(1):10.260|41.107
20, 2663(18):2.423|40.398, 2664(5):0.649|24.596, 266(0):0.276|0.529, 265(0):10.543|43.207, 266(6):19.999|56.884
30, 2190(13):2.282|89.741, 2187(4):0.627|61.344, 219(0):0.316|0.473, 219(0):10.018|44.254, 219(0):8.537|13.819
这类信息，每10秒产生一条输出，每个翻译结果以逗号分隔后，共分为6项，一次为操作时间（秒）、创建订单、订单交付、查询订单、发货、查询库存。
第一项是定义任务执行的时间，按照每10秒为一个区间进行输出。后5项格式一样分属5个不同的业务操作，每一项都是4个属性值，即该区间内成功执行的事务数、出现延迟的事务数、90%事务的响应时间、事务的最大响应时间。
以一条具体的例子做详细说明：
10, 2948(20):2.161|302.746, 2950(4):0.666|186.816, 294(0):0.365|21.915, 296(0):8.277|291.135, 295(1):10.260|41.107
这条记录表示，在第一个10秒区间内：
创建订单。共操作2984次，失败20次，90%的事务平均操作时间2.161秒，最大操作时间为302.746秒。
订单支付。共操作2950次，失败4次，90%的事务平均操作时间0.666秒，最大操作时间为186.816秒。
查询订单。共操作294次，失败0次，90%的事务平均操作时间0.365秒，最大操作时间为21.915秒。
发货。共操作296次，失败0次，90%的事务平均操作时间8.277秒，最大操作时间为291.135秒。
查询库存。共操作295次，失败1次，90%的事务平均操作时间10.260秒，最大操作时间为41.107秒。
输出记录中，一条条分析不够形象，可以讲数字输入到Excel中，转换成图形，就可以比较直观了。
接下来的信息，是汇总各线程操作的各项事务的数据量，内容如下：
<Raw Results>
[0] sc:83441 lt:382 rt:0 fl:0
[1] sc:83638 lt:174 rt:0 fl:0
[2] sc:8372 lt:10 rt:0 fl:0
[3] sc:8370 lt:12 rt:0 fl:0
[4] sc:8325 lt:57 rt:0 fl:0
in 300 sec.
在反映数据量时，使用了若干简写指标，实际代表的意义如下：
sc:即seccess,操作成功的数量。
lt:即late，指操作出现延迟的数量。
rt:即retry，指操作重试的数量。
fl:即failure，指操作失败的数量。
再接下来输出的是不同类型的业务执行的事务数占比情况：
[transaction percentage]
Payment: 43.48% (>=43.0%) [OK]
Order-Status: 4.35% (>= 4.0%) [OK]
Delivery: 4.35% (>= 4.0%) [OK]
Stock-Level: 4.35% (>= 4.0%) [OK]
依次对应的是订单支付、查询订单、发货、查询库存4项业务的占比，加上没有体现的创建订单的占比，为100%。
在命令行的最后，输出了一项名为TpmC的指标：
<TpmC>
16764.600 TpmC
这项指标可以理解为整体性能指标，达标了本系统每分钟能够处理的订单数量。注意这里是分钟，因为tpm是Transactions per minute的简写，而C指的就是执行TPC-C基准测试。
tpcc_start命令执行的完整返回结果参见：
http://blog.csdn.net/yumushui/article/details/37762723
Tpcc没有收集系统性能指标，我们科通过其他途径对此期间的系统性能进行收集，重点关注CPU和系统平均负载。