基于BenchmarkSQL的达梦数据库TPCC性能测试
基于BenchmarkSQL的达梦数据库TPCC性能测试
- 安装BenchmarkSQL及其依赖
-
- 安装软件依赖
- 编译BenchmarkSQL
- BenchmarkSQL props文件配置
- 数据库用户配置
- BenchmarkSQL压测
-
- 装载测试数据
- TPC-C压测（固定事务数量）
- TPC-C压测（固定时长）
- 生成测试报告
Oracle版本参见：基于BenchmarkSQL的Oracle数据库tpcc性能测试
安装BenchmarkSQL及其依赖
| 软件包 | 作用 |
|---|---|
| benchmarksql-5.0.zip | tpcc性能测试 |
| R-3.6.3.tar.gz | 生成压测报告 |
下载地址
- BenchmarkSQL: https://github.com/petergeoghegan/benchmarksql
- R: https://mirror.bjtu.edu.cn/cran/src/base/R-3/R-3.6.3.tar.gz
安装软件依赖
安装依赖软件包：
yum install gcc glibc-headers gcc-c++ gcc-gfortran readline-devel libXt-devel pcre-devel libcurl libcurl-devel -y
yum install ncurses ncurses-devel autoconf automake zlib zlib-devel bzip2 bzip2-devel xz-devel -y
yum install java-1.8.0-openjdk ant -y
编译安装R语言：
yum install pango-devel pango libpng-devel cairo cairo-devel -y
tar -zxf R-3.6.3.tar.gz
cd R-3.6.3
./configure && make && make install
检查安装情况：
[root@primarydb benchmarksql]# ant -version
Apache Ant(TM) version 1.9.4 compiled on November 5 2018
[root@primarydb benchmarksql]# java -version
openjdk version "1.8.0_362"
OpenJDK Runtime Environment (build 1.8.0_362-b08)
OpenJDK 64-Bit Server VM (build 25.362-b08, mixed mode)
[root@primarydb benchmarksql]# R --version
R version 3.6.3 (2020-02-29) -- "Holding the Windsock"
Copyright (C) 2020 The R Foundation for Statistical Computing
Platform: x86_64-pc-linux-gnu (64-bit)
如果ant命令报如下错误：
[root@primarydb benchmarksql]# ant -version
Unable to locate tools.jar.
Expected to find it in /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.h5.ky10.x86_64/lib/tools.jar
解决办法是安装openjdk-devel包：
yum install java-1.8.0-openjdk-devel -y
编译BenchmarkSQL
解压安装包：
[root@primarydb benchmarksql]# unzip benchmarksql-5.0.zip
[root@primarydb benchmarksql]# ls benchmarksql-5.0/lib/
apache-log4j-extras-1.1.jar firebird log4j-1.2.17.jar oracle postgres
拷贝达梦数据库驱动到BenchmarkSQL的lib/oracle目录下：
find /opt/dmdbms -name DmJdbcDriver*
cp /opt/dmdbms/driver/jdbc/DmJdbcDriver18.jar benchmarksql-5.0/lib/oracle/
使用ant编译BenchmarkSQL：
[root@primarydb benchmarksql]# cd benchmarksql-5.0
[root@primarydb benchmarksql-5.0]# ant
BenchmarkSQL props文件配置
benchmarksql-5.0/run/props.xxx是使用BenchmarkSQL进行性能测试的主要配置文件。
BenchmarkSQL默认不支持达梦数据库。这里我们让BenchmarkSQL把达梦数据库当作Oracle即可。Oracle数据库对应的测试配置文件为props.ora，将其拷贝为dm.properties编辑：
db=oracle //benchmarksql默认不支持达梦数据库
driver=dm.jdbc.driver.DmDriver //数据库驱动
conn=jdbc:dm://127.0.0.1:5236 //数据库连接串
user=BENCHMARKSQL //数据库连接用户
password=benchmarksql //数据库连接用户密码
warehouses=500 //仓库数，控制测试数据量，每个仓库初始大小约为100MB
loadWorkers=8 //初始化测试数据时，往数据库中加载数据的并发进程数
terminals=40 //客户端并发连接数
//To run specified transactions per terminal- runMins must equal zero
runTxnsPerTerminal=10 //每个客户端运行的事务数量。该参数不为0时，runMins必须为0
//To run for specified minutes- runTxnsPerTerminal must equal zero
runMins=0 //测试的时长，单位为分钟。该参数不为0时，runTxnsPerTerminal必须为0
//Number of total transactions per minute
limitTxnsPerMin=300 //每分钟运行的事务数量
//Set to true to run in 4.x compatible mode. Set to false to use the
//entire configured database evenly.
terminalWarehouseFixed=true
//The following five values must add up to 100
//TPC-C规范的默认百分比为45:43:4:4:4
newOrderWeight=45
paymentWeight=43
orderStatusWeight=4
deliveryWeight=4
stockLevelWeight=4
// Directory name to create for collecting detailed result data.
//测试结果数据存储位置和命名规则
resultDirectory=my_result_%tY-%tm-%td_%tH%tM%tS
osCollectorScript=./misc/os_collector_linux.py
osCollectorInterval=1
//收集OS负载信息：eth0和vdb必须匹配服务器网卡和磁盘名称
//osCollectorSSHAddr=user@dbhost
osCollectorDevices=net_eth0 blk_vdb
其中几个重要参数建议按如下规则配置：
- warehouses：每个仓库初始大小约100M。建议测试数据量为数据库服务器物理内存的2到5倍大小；
- loadWorkers：建议配置为CPU核数；
- terminals：建议配置为CPU核数的2到6倍大小。
数据库用户配置
按照dm.properties中的用户和密码在达梦数据库中创建测试用户，并保证其表空间足够容纳生成的测试数据。可以按照每个warehouse为100M大小进行估算。如果开启了归档，还要考虑归档日志占用的空间。
BenchmarkSQL压测
装载测试数据
使用runDatabaseBuild.sh脚本生成测试数据：
[root@primarydb benchmarksql-5.0]# cd run
[root@primarydb run]# ./runDatabaseBuild.sh dm.properties
TPC-C压测（固定事务数量）
修改dm.properties中的测试模式为固定事务数量：
runTxnsPerTerminal=10
runMins=0
使用runBenchmark.sh脚本进行测试：
[root@primarydb run]# ./runBenchmark.sh dm.properties
执行事务的总数等于terminals与runTxnsPerTerminal的乘积。
测试结束后，会在当前路径下生成一个以dm.properties中参数resultDirectory规则命名的结果目录。
TPC-C压测（固定时长）
修改dm.properties中的测试模式为固定时长：
runTxnsPerTerminal=0
runMins=180
销毁测试数据后重新加载测试：
[root@primarydb run]# ./runDatabaseDestroy.sh dm.properties
[root@primarydb run]# ./runDatabaseBuild.sh dm.properties
[root@primarydb run]# ./runBenchmark.sh dm.properties
生成测试报告
使用generateReport.sh脚本来生成测试报告（需要安装R语言）：
[root@primarydb run]# ls my_result_2023-04-15_182919/
data run.properties
[root@primarydb run]# ./generateReport.sh my_result_2023-04-15_182919/
[root@primarydb run]# ls my_result_2023-04-15_182919/
blk_vdb_iops.png cpu_utilization.png dirty_buffers.png net_eth0_iops.png report.html tpm_nopm.png
blk_vdb_kbps.png data latency.png net_eth0_kbps.png run.properties
[root@primarydb run]# zip -r tpcc-dm-report.zip my_result_2023-04-15_182919/
其中，report.html是生成的测试报告，png文件是报告中包含的图片。