[原创]使用benchmarksql和pgbench对PostgreSQL Plus Advanced Server进行性能测试

一、测试环境

benchmarksql version:4.0.8

rhel 6.3

vmware esxi

二、理解benchmarksql性能测试原理TPC-C

1、理解TPC-C

TPC-C模拟一个批发商的货物管理环境。该批发公司有N个仓库，每个仓库供应10个地区，其中每个地区为3000名顾客服务。在每个仓库中有10个终端，每一个终端用于一个地区。在运行时，10×N个终端操作员向公司的数据库发出5类请求。由于一个仓库中不可能存储公司所有的货物，有一些请求必须发往其它仓库，因此，数据库在逻辑上是分布的。N是一个可变参数，测试者可以随意改变N，以获得最佳测试效果。

TPC-C使用三种性能和价格度量，其中性能由TPC-C吞吐率衡量，单位是tpmC。tpm是transactions per minute的简称；C指TPC中的C基准程序。它的定义是每分钟内系统处理的新订单个数。要注意的是，在处理新订单的同时，系统还要按表1的要求处理其它4类事务 请求。从表1可以看出，新订单请求不可能超出全部事务请求的45％，因此，当一个系统的性能为1000tpmC时，它每分钟实际处理的请求数是2000多个。价格是指系统的总价格，单位是美元，而价格性能比则定义为总价格÷性能，单位是＄/tpmC。

tpmC定义: TPC-C的吞吐量，按有效TPC-C配置期间每分钟处理的平均交易次数测量，至少要运行12分钟。（吞吐量测试结果以比特/秒或字节/秒表示。）

这里还有一篇文章介绍的很详细：

http://blog.sina.com.cn/s/blog_4485748101019wsh.html

2、benchmarksql参数设置

批发公司的N个仓库，默认为1

warehouses=1

每个仓库中的终端数

terminals=1

//To run specified transactions per terminal- runMins must equal zero

每终端执行的事务数，如果启用它，就必须将runMins设置为0

runTxnsPerTerminal=10

//To run for specified minutes- runTxnsPerTerminal must equal zero

终端执行时间，如果启用它，就必须设置runTxnsPerTerminal为0

runMins=0

//Number of total transactions per minute

limitTxnsPerMin=300

//The following five values must add up to 100

//The default percentages of 45, 43, 4, 4 & 4 match the TPC-C spec

newOrderWeight=45

paymentWeight=43

orderStatusWeight=4

deliveryWeight=4

stockLevelWeight=4

二、PPAS测试

PPAS version:PostgreSQL Plus Advanced Server 9.2

1、修改驱动及数据库用户名和密码：

[root@dbserver ~]# cp /opt/benchmarksql-4.0.8/run/props.pg /opt/benchmarksql-4.0.8/run/props.pg.bak

[root@dbserver ~]# vim /opt/benchmarksql-4.0.8/run/props.pg

driver=com.edb.Driver

conn=jdbc:edb://localhost:5444/edb

user=benchmarksql

password=000000

2、复制EDB的JDBC驱动到benchmarksql的lib目录

[root@dbserver ~]# cp /opt/PostgresPlus/9.2AS/connectors/jdbc/edb-jdbc16.jar /opt/benchmarksql-4.0.8/lib/

3、修改benchmarksql的执行脚本

默认的，benchmarksql的执行脚本都是使用PostgreSQL驱动，因为我们这里要测试的是PPAS，所以首先将执行脚本中的驱动全部修改为EDB的驱动：

[root@dbserver ~]# vim /opt/benchmarksql_ora/run/runSQL.sh

将脚本中的"postgresql-9.2-1003.jdbc4.jar"修改为：myCP="../lib/ edb-jdbc16.jar"，其他几个sh文件也是一样的修改；

[root@dbserver ~]# vim /opt/benchmarksql_ora/run/runBenchmark.sh

[root@dbserver ~]# vim /opt/benchmarksql_ora/run/runLoader.sh

3、创建benchmarksql用户并赋予适当的权限

[root@dbserver ~]# psql -U enterprisedb edb

edb=# CREATE USER benchmarksql WITH PASSWORD '000000';

CREATE ROLE

edb=# GRANT ALL PRIVILEGES ON DATABASE edb TO benchmarksql;

GRANT

4、转到benchmarksql的run目录，运行脚本创建测试表

[root@dbserver run]# ./runSQL.sh props.pg sqlTableCreates

如果要删除表，则可以运sqlTableDrops脚本

5、加载测试数据

[root@dbserver run]# ./runLoader.sh props.pg numWarehouses 1

执行完成后可以看到执行的统计结果。

6、创建主键和索引

[root@dbserver run]#./runSQL.sh props.pg sqlIndexCreates

如果要删除索引，则可以运sqlIndexDrops脚本

7、使用benchmark进行测试：

[root@dbserver run]# ./runBenchmark.sh props.pg

脚本“runBenchmark.sh”会根据props.pg文件中的配置进行自动化的测试，测试完成会给出详细的测试报告。

8、自动测试

自动测试脚本

#! /bin/sh

./runSQL.sh props.pg sqlIndexDrops

./runSQL.sh props.pg sqlTableDrops

./runSQL.sh props.pg sqlTableCreates

./runLoader.sh props.pg numWarehouses 1

./runSQL.sh props.pg sqlIndexCreates

./runBenchmark.sh props.pg

自动删除索引，表及测试结果脚本

#! /bin/sh

./runSQL.sh props.pg sqlIndexDrops

./runSQL.sh props.pg sqlTableDrops

./clean.sh

三、PostgreSQL测试

四、MySQL测试

[root@dbserver ~]# mysql --version

mysql Ver 14.14 Distrib 5.6.14, for Linux (x86_64) using EditLine wrapper

1、准备JDBC驱动

[root@dbserver ~]# cp /opt/workspace/mysql-connector-java-5.1.26/mysql-connector-java-5.1.26-bin.jar /opt/benchmarksql_mysql/lib/

2、修改benchmarksql的执行脚本

首先将执行脚本中的驱动全部修改为MySQL的JDBC驱动：

[root@dbserver ~]# vim /opt/benchmarksql_mysql/run/runSQL.sh

将脚本中的"postgresql-9.2-1003.jdbc4.jar"修改为：myCP="../lib/ mysql-connector-java-5.1.26-bin.jar "，其他几个sh文件也是一样的修改；

[root@dbserver ~]# vim /opt/benchmarksql_mysql/run/runBenchmark.sh

[root@dbserver ~]# vim /opt/benchmarksql_mysql/run/runLoader.sh

3、创建benchmarksql用户并赋予适当的权限

benchmarksql建议使用一个用户名为““benchmarksql”的用户进行测试，这里我们先在Oracle中创建benchmarksql用户：

[root@dbserver ~]# mysql -u root -p

mysql> CREATE USER 'benchmarksql'@'localhost' IDENTIFIED BY '000000';

mysql> flush privileges;

创建测试数据库

mysql> create database benchmarkdb;

为用户赋予操作数据库benchmarkdb的所有权限

mysql> grant all privileges on benchmarkdb.* to 'benchmarksql'@'localhost' identified by '000000';

mysql> flush privileges;

4、修改配置文件中的数据库连接信息

[root@dbserver ~]# cp /opt/benchmarksql_mysql/run/props.ora /opt/benchmarksql_ora/run/props.mysql

[root@dbserver ~]# vim /opt/benchmarksql_ora/run/props.mysql

修改props.mysql中的连接字符串及mysql数据库的用户名和密码。

driver=com.mysql.jdbc.Driver

conn=jdbc:mysql://localhost:3306/benchmarkdb

user=benchmarksql

password=000000

5、创建测试表

[root@dbserver ~]# cd /opt/benchmarksql_ mysql/run/

[root@dbserver run]# ./runSQL.sh props.mysql sqlTableCreates如果要删除表，则可以运sqlTableDrops脚本

6、加载测试数据

[root@dbserver run]# ./runLoader.sh props.mysql numWarehouses 1

执行完成后可以看到执行的统计结果。

7、创建主键和索引

[root@dbserver run]#./runSQL.sh props.mysql sqlIndexCreates

如果要删除索引，则可以运sqlIndexDrops脚本

8、使用benchmark进行测试：

[root@dbserver run]# ./runBenchmark.sh props.mysql

脚本“runBenchmark.sh”会根据props.mysql文件中的配置进行自动化的测试，测试完成会给出详细的测试报告。

mysql的测试，在最后一步runBenchmark.sh脚本时，会出很多的错误，一部分是mysql的sql脚本的问题，需要自己重新对几个sql脚本进行修改，使之符合mysql语法，这里有一篇文章介绍了benchmarksql对mysql的测试，但是是非常老的版本，记录作为参考：

http://kenshin579.tistory.com/322

五、Oracle测试

1、准备JDBC驱动

从Oracle的JDBC目录中复制Oracle JDBC驱动到benchmarksql的lib目录中

Oracle version:10.2.0.4

cp /oracle/product/10.2/db_1/jdbc/lib/ojdbc14.jar /opt/benchmarksql_ora/lib/

Oracle version:11.2.0.1

cp $ORACLE_HOME/jdbc/lib/ojdbc6.jar ~/benchmarksql_ora/lib/

2、修改benchmarksql的执行脚本

首先将执行脚本中的驱动全部修改为Oracle的JDBC驱动：

[root@dbserver ~]# vim /opt/benchmarksql_ora/run/runSQL.sh

将脚本中的"postgresql-9.2-1003.jdbc4.jar"修改为：myCP="../lib/ojdbc14.jar"，其他几个sh文件也是一样的修改；

[root@dbserver ~]# vim /opt/benchmarksql_ora/run/runBenchmark.sh

[root@dbserver ~]# vim /opt/benchmarksql_ora/run/runLoader.sh

3、修改配置文件中的数据库连接信息

[root@dbserver ~]# cp /opt/benchmarksql_ora/run/props.ora /opt/benchmarksql_ora/run/props.ora.bak

[root@dbserver ~]# vim /opt/benchmarksql_ora/run/props.ora

修改props.ora中的连接字符串及oracle数据库的用户名和密码。

4、创建benchmarksql用户并赋予适当的权限

benchmarksql建议使用一个用户名为““benchmarksql”的用户进行测试，这里我们先在Oracle中创建benchmarksql用户：

CREATE USER benchmarksql IDENTIFIED BY "000000";

GRANT dba TO benchmarksql;

4、创建测试表

[root@dbserver ~]# cd /opt/benchmarksql_ora/run/

[root@dbserver run]# ./runSQL.sh props.ora sqlTableCreates如果要删除表，则可以运sqlTableDrops脚本

5、加载测试数据

[root@dbserver run]# ./runLoader.sh props.ora numWarehouses 1

执行完成后可以看到执行的统计结果。

6、创建主键和索引

[root@dbserver run]#./runSQL.sh props.ora sqlIndexCreates

如果要删除索引，则可以运sqlIndexDrops脚本

7、使用benchmark进行测试：

[root@dbserver run]# ./runBenchmark.sh props.ora

脚本“runBenchmark.sh”会根据props.ora文件中的配置进行自动化的测试，测试完成会给出详细的测试报告。

Oracle version:11.2.0.1

1、准备JDBC驱动

从Oracle的JDBC目录中复制Oracle JDBC驱动到benchmarksql的lib目录中

[oracle@rhel ~]$ cp /u01/oracle/product/11.2/dbhome_1/jdbc/lib/ojdbc6.jar ~/benchmarksql-4.0.8/lib/

2、修改benchmarksql的执行脚本

首先将执行脚本中的驱动全部修改为Oracle的JDBC驱动：

[root@ ~]# vim /opt/benchmarksql_ora/run/runSQL.sh

将脚本中的"postgresql-9.2-1003.jdbc4.jar"修改为：myCP="../lib/ojdbc6.jar"，其他几个sh文件也是一样的修改；

[root@ ~]# vim /opt/benchmarksql_ora/run/runBenchmark.sh

[root@ ~]# vim /opt/benchmarksql_ora/run/runLoader.sh

3、修改配置文件中的数据库连接信息

[root@dbserver ~]# cp /opt/benchmarksql-4.0.8/run/props.ora /opt/benchmarksql-4.0.8/run/props.ora.bak

[root@ ~]# vim /opt/benchmarksql_ora/run/props.ora

修改props.ora中的连接字符串及oracle数据库的用户名和密码。

创建benchmarksql用户并赋予适当的权限

benchmarksql建议使用一个用户名为““benchmarksql”的用户进行测试，这里我们先在Oracle中创建benchmarksql用户：

CREATE USER benchmarksql IDENTIFIED BY "000000";

GRANT dba TO benchmarksql;

4、创建测试表

[root@dbserver ~]# cd /opt/benchmarksql_ora/run/

[root@dbserver run]# ./runSQL.sh props.ora sqlTableCreates如果要删除表，则可以运sqlTableDrops脚本

5、加载测试数据

[root@dbserver run]# ./runLoader.sh props.ora numWarehouses 1

执行完成后可以看到执行的统计结果。

6、创建主键和索引

[root@dbserver run]#./runSQL.sh props.ora sqlIndexCreates

如果要删除索引，则可以运sqlIndexDrops脚本

7、使用benchmark进行测试：

[root@dbserver run]# ./runBenchmark.sh props.ora

脚本“runBenchmark.sh”会根据props.ora文件中的配置进行自动化的测试，测试完成会给出详细的测试报告。

六、使用pgbench对EDB进行性能测试

1、安装pgbench

安装完PostgreSQL Plus Advanced server，已经默认安装了pgbench；如果使用PostgreSQL，那么需要通过pgbench的源码进行编译和安装，此处略。

2、初始化测试数据

[root@edbs1 ~]# pgbench -i benchmarkdb -U enterprisedb

3、测试

[root@edbs1 pgbenchscripts]# pgbench -c 10 -j 10 -T 30 -d benchmarkdb -U enterprisedb -f /opt/workspace/pgbenchscripts/script_1.sql > /opt/workspace/pgbenchscripts/script_5.out

下面是script_1.sql的内容，如果不指定-f参数，则使用pgbench默认的脚本进行测试。如果指定了-S参数，可以进行只读测试。

\set nbranches :scale

\set ntellers 10 * :scale

\set naccounts 100000 * :scale

\setrandom delta -5000 5000

\setrandom aid 1 :naccounts

\setrandom bid 1 :nbranches

\setrandom tid 1 :ntellers

BEGIN;

UPDATE pgbench_accounts SET abalance = abalance + :delta WHERE aid = :aid;

SELECT abalance FROM pgbench_accounts WHERE aid = :aid;

UPDATE pgbench_tellers SET tbalance = tbalance + :delta WHERE tid = :tid;

UPDATE pgbench_branches SET bbalance = bbalance + :delta WHERE bid = :bid;

INSERT INTO pgbench_history (tid, bid, aid, delta, mtime) VALUES (:tid, :bid,:aid,:delta, CURRENT_TIMESTAMP);

END;

关于pgbench更多参数介绍，使用pgbench --help进行查看。

Benchmarking options:

-c NUM number of concurrent database clients (default: 1)

-C establish new connection for each transaction

-D VARNAME=VALUE

define variable for use by custom script

-f FILENAME read transaction script from FILENAME

-j NUM number of threads (default: 1)

-l write transaction times to log file

-M simple|extended|prepared

protocol for submitting queries to server (default: simple)

-n do not run VACUUM before tests

-N do not update tables "pgbench_tellers" and "pgbench_branches"

-r report average latency per command

-s NUM report this scale factor in output

-S perform SELECT-only transactions

-t NUM number of transactions each client runs (default: 10)

-T NUM duration of benchmark test in seconds

-v vacuum all four standard tables before tests

--aggregate-interval=NUM

aggregate data over NUM seconds

--sampling-rate=NUM

fraction of transactions to log (e.g. 0.01 for 1% sample)