如何用tpcc-mysql工具进行oltp压力测试

一.下载源码包
1.下载：http://imysql.com/wp-content/uploads/2014/09/tpcc-mysql-src.tgz
2.解压和解包
 [apps@mvxl0784 software]$ gunzip tpcc-mysql-src.tgz
 [apps@mvxl0784 software]$ tar -xf tpcc-mysql-src.tar

tpcc-mysql的业务逻辑及其相关的几个表作用如下：
New-Order：新订单，一次完整的订单事务，几乎涉及到全部表
Payment：支付，主要对应 orders、history 表
Order-Status：订单状态，主要对应 orders、order_line 表
Delivery：发货，主要对应 order_line 表
Stock-Level：库存，主要对应 stock 表
其他相关表：
客户：主要对应 customer 表
地区：主要对应 district 表
商品：主要对应 item 表
仓库：主要对应 warehouse 表

二.编译
[apps@mvxl0784 software]$ cd tpcc-mysql
[apps@mvxl0784 tpcc-mysql]$ ls
add_fkey_idx.sql  count.sql  create_table.sql  drop_cons.sql  load.sh  README  schema2  scripts  src
[apps@mvxl0784 tpcc-mysql]$ pwd
/apps/software/tpcc-mysql
[apps@mvxl0784 tpcc-mysql]$ cd src
[apps@mvxl0784 src]$ ls
delivery.c  load.c  Makefile  ordstat.c     payment.c  rthist.h    sequence.h  spt_proc.c  support.c  trans_if.h
driver.c    main.c  neword.c  parse_port.h  rthist.c   sequence.c  slev.c      spt_proc.h  tpc.h
[apps@mvxl0784 src]$ make
cc -w -O2 -g -I. `mysql_config --include`  -c load.c
cc -w -O2 -g -I. `mysql_config --include`  -c support.c
cc load.o support.o `mysql_config --libs_r` -lrt -o ../tpcc_load
cc -w -O2 -g -I. `mysql_config --include`  -c main.c
cc -w -O2 -g -I. `mysql_config --include`  -c spt_proc.c
cc -w -O2 -g -I. `mysql_config --include`  -c driver.c
cc -w -O2 -g -I. `mysql_config --include`  -c sequence.c
cc -w -O2 -g -I. `mysql_config --include`  -c rthist.c
cc -w -O2 -g -I. `mysql_config --include`  -c neword.c
cc -w -O2 -g -I. `mysql_config --include`  -c payment.c
cc -w -O2 -g -I. `mysql_config --include`  -c ordstat.c
cc -w -O2 -g -I. `mysql_config --include`  -c delivery.c
cc -w -O2 -g -I. `mysql_config --include`  -c slev.c
cc main.o spt_proc.o driver.o support.o sequence.o rthist.o neword.o payment.o ordstat.o delivery.o slev.o `mysql_config --libs_r` -lrt -o ../tpcc_start
三、TPCC测试前准备
初始化测试库环境
cd /apps/software/tpcc-mysql
/apps/svr/mariadb10/bin/mysql -u root -p --socket=/tmp/mysql3306.sock -e "create database tpcc100"
/apps/svr/mariadb10/bin/mysql -u root -p --socket=/tmp/mysql3306.sock -f tpcc100 < create_table.sql
初始化完毕后，就可以开始加载测试数据了

tpcc_load用法如下：
tpcc_load [server] [DB] [user] [pass] [warehouse]
或者
tpcc_load [server] [DB] [user] [pass] [warehouse] [part] [min_wh] [max_wh]

选项 warehouse 意为指定测试库下的仓库数量。

真实测试场景中，仓库数一般不建议少于100个，视服务器硬件配置而定，如果是配备了SSD或者PCIE SSD这种高IOPS设备的话，建议最少不低于1000个。

执行下面的命令，开始灌入测试数据：
cd /apps/software/tpcc-mysql
./tpcc_load localhost tpcc100 root "safe2016" 100
在这里，需要注意的是 tpcc 默认会读取 /var/lib/mysql/mysql.sock 这个socket 文件。
因此，如果你的 socket 文件不在相应路径的话，可以做个软连接，或者通过TCP/IP的方式连接测试服务器，例如：
./tpcc_load 10.16.24.109:3306 tpcc100 root "safe2016" 100

我们这里采用建立link文件的方式：
[root@mvxl0784 lib]# cd /var/lib
[root@mvxl0784 lib]# mkdir mysql
[root@mvxl0784 lib]# cd /var/lib/mysql
[root@mvxl0784 mysql]# ln -s /tmp/mysql3306.sock mysql.sock

正式load数据：
cd /apps/software/tpcc-mysql
./tpcc_load localhost tpcc100 root "safe2016" 100
最后完成时显示如下：
Loading Orders for D=10, W= 100
.......... 1000
.......... 2000
.......... 3000
Orders Done.

...DATA LOADING COMPLETED SUCCESSFULLY.

四、进行TPCC测试

cd /apps/software/tpcc-mysql

./tpcc_start -h localhost -d tpcc100 -u root -p "safe2016" -w 100 -c 16 -r 120 -l 1800 -f tpcc_mysql_20160506.log >> tpcc_caseX_20160506.log 2>&1
即：模拟 100个仓库规模，并发 16个线程进行测试，热身时间为 120秒, 压测时间为 半小时。

真实测试场景中，建议预热时间不小于5分钟，持续压测时长不小于30分钟，否则测试数据可能不具参考意义。

 

*** ###easy### TPC-C Load Generator ***
***************************************
option h with value 'localhost'
option d with value 'tpcc100'
option u with value 'root'
option p with value 'safe2016'
option w with value '100'
option c with value '16'
option r with value '120'
option l with value '1800'
option f with value 'tpcc_mysql_20160506.log'

     [server]: localhost
     [port]: 3306
     [DBname]: tpcc100
       [user]: root
       [pass]: safe2016
  [warehouse]: 100
 [connection]: 16
     [rampup]: 120 (sec.)
    [measure]: 1800 (sec.)

RAMP-UP TIME.(120 sec.)

-- 预热结束，开始进行压测

MEASURING START.
-- 每10秒钟输出一次压测数据
  10, 7272(0):1.316|6.084, 7269(0):0.297|4.315, 728(0):0.172|0.531, 728(0):1.512|3.179, 725(0):4.564|8.784
  20, 7320(0):1.250|1.881, 7319(0):0.274|1.481, 732(0):0.157|0.306, 731(0):1.379|1.488, 733(0):3.884|5.327
  30, 6502(0):1.271|1.967, 6501(0):0.273|0.681, 650(0):0.148|0.199, 652(0):1.424|2.062, 651(0):4.023|5.452
  40, 7334(1):1.238|5.957, 7331(0):0.263|1.155, 733(0):0.143|0.204, 733(0):1.342|1.519, 733(0):3.790|5.539
  50, 6450(0):1.280|2.436, 6457(0):0.276|0.679, 645(0):0.151|0.172, 645(0):1.444|1.544, 645(0):4.266|5.206
...........................................................................................................
1780, 6802(0):1.240|2.026, 6800(0):0.257|0.628, 680(0):0.156|0.222, 680(0):1.357|1.507, 678(0):3.838|5.044
1790, 7486(0):1.191|1.647, 7484(0):0.254|0.503, 749(0):0.138|0.204, 748(0):1.337|1.487, 750(0):3.638|4.761
1800, 6835(0):1.200|2.292, 6836(0):0.255|0.492, 683(0):0.142|0.165, 684(0):1.341|1.522, 682(0):3.673|4.887
-- 以逗号分隔，共6列
-- 第一列，第N次10秒
-- 第二列，新订单成功执行压测的次数(推迟执行压测的次数):90%事务的响应时间|本轮测试最大响应时间，新订单事务数也被认为是总有效事务数的指标
-- 第三列，支付业务成功执行次数(推迟执行次数):90%事务的响应时间|本轮测试最大响应时间
-- 第四列，订单状态业务的结果，后面几个的意义同上
-- 第五列，物流发货业务的结果，后面几个的意义同上
-- 第六列，库存仓储业务的结果，后面几个的意义同上

-- 压测结束

STOPPING THREADS................

  -- 第一次结果统计

  [0] sc:1235370  lt:15  rt:0  fl:0 -- New-Order，新订单业务成功(success,简写sc)次数，延迟(late,简写lt)次数，重试(retry,简写rt)次数，失败(failure,简写fl)次数
  [1] sc:1235338  lt:4  rt:0  fl:0
  [2] sc:123539  lt:0  rt:0  fl:0
  [3] sc:123538  lt:0  rt:0  fl:0
  [4] sc:123536  lt:0  rt:0  fl:0
 in 1800 sec.

 -- 第二次统计结果，其他同上

  [0] sc:1235373  lt:15  rt:0  fl:0
  [1] sc:1235381  lt:4  rt:0  fl:0
  [2] sc:123539  lt:0  rt:0  fl:0
  [3] sc:123539  lt:0  rt:0  fl:0
  [4] sc:123537  lt:0  rt:0  fl:0

(all must be [OK])  -- 下面所有业务逻辑结果都必须为 OK 才行
 [transaction percentage]
        Payment: 43.48% (>=43.0%) [OK] -- 支付成功次数(上述统计结果中 sc + lt)必须大于43.0%，否则结果为NG，而不是OK
   Order-Status: 4.35% (>= 4.0%) [OK]
       Delivery: 4.35% (>= 4.0%) [OK]
    Stock-Level: 4.35% (>= 4.0%) [OK]
 [response time (at least 90% passed)]  -- 响应耗时指标必须超过90%通过才行
      New-Order: 100.00%  [OK]  -- 下面几个响应耗时指标全部 100% 通过
        Payment: 100.00%  [OK]
   Order-Status: 100.00%  [OK]
       Delivery: 100.00%  [OK]
    Stock-Level: 100.00%  [OK]

                 41179.500 TpmC   -- TpmC结果值（每分钟事务数，该值是第一次统计结果中的新订单事务数除以总耗时分钟数，例如本例中是：1235370/30 = 41179）

测试下轮开始前，需要如下处理：

1、如何避免压测时受到缓存的影响
a、填充测试数据比物理内存还要大，至少超过 innodb_buffer_pool_size 值，不能将数据全部装载到内存中，除非你的本意就想测试全内存状态下的MySQL性能。
b、每轮测试完成后，都重启mysqld实例，并且用下面的方法删除系统cache，释放swap（如果用到了swap的话），甚至可以重启整个OS。

sync  -- 将脏数据刷新到磁盘
echo 3 > /proc/sys/vm/drop_caches  -- 清除OS Cache
swapoff -a && swapon -a