JDBC SQL Profiling及p6spy

概述

在基于J2EE的企业应用、电子商务应用开发中持久层技术越来越成熟，使得开发人员访问数据的工作变得越来越简单，一些持久层技术可以智能的生成一些重复性的访问关系型数据库的SQL语句。但在给开发人员带来福音同时降低了他们对SQL语句的控制，在一些对性能要求比较苛刻的应用中SQL的优化可能比开发简便更为重要。获得访问数据库的SQL语句是性能优化的首要步骤，一些主流的持久层技术框架都支持输出生成的SQL语句，比如Hibernate中可以在配置文件中指定show_sql为true来输出每个生成的SQL语句。另外，一些查询应用的条件是用户动态选择的，需要在运行时刻生成SQL。此外，不仅在开发环境而且生产环境对一些可能导致性能瓶颈的数据库访问的监控，抓取引起性能下降的样例数据对问题的解决至关重要。能够解决上述问题而且不依赖于具体产品的技术通常称为SQL Profiling。

p6spy正是这样一个开源的SQL Profiling技术的实现。它通过对JDBC API的包装截获应用程序对数据库的访问。p6spy提供了：

1. 记录SQL语句的执行的时间戳
2. 记录SQL语句的类型
3. 记录SQL填入参数的和不填入参数的SQL语句
4. 根据配置的时间监控SQL语句的执行时间，对超出时间的SQL语句输出的日志文件中(该功能由p6outage模块提供)

此外，和p6spy的扩展工具还提供了分析p6spy的日志文件中SQL语句访问模式给出创建索引等优化建议。

p6spy的安装过程

p6spy适用于各种J2EE环境：简单的Servlet/JSP环境，复杂的应用服务器环境。无论哪种环境其配置大同小异，主要是：
1. p6spy的p6spy.jar文件和配置文件spy.properties放到服务器的Classpath中
2. 指定JDBC driver时要用com.p6spy.engine.spy.P6SpyDriver代替
3. 指定在spy.properties中realdriver
4. 指定日志文件的具体位置(可选)
配置p6spy相当简单，其配置信息都放在spy.properties中，该文件的每个配置参数都有详细的注释。


在特定的应用服务器中安装p6spy的详细步骤在http://www.p6spy.com/documentation/install.htm处描述。本文以Weblogic 8.1为例简要说明安装过程：

1. 获取p6spy的发行版，http://www.p6spy.com/download.html
2. 解压缩发行版得到p6spy.jar和spy.properties
3. 将p6spy.jar放到$WLS_HOME/server/ext(典型的如：C:\bea\weblogic81\server\ext)和部署应用的domain目录下(典型的如：C:\bea\user_projects\domains\mydomain)
4. 修改domain下的startWeblogic.cmd或startWeblogic.sh，将上述两个目录放到命令行classpath中去。
5. 修改spy.properties选择恰当的JDBC driver，比如Oracle数据库使用：realdriver=oracle.jdbc.driver.OracleDriver
6. 如果想指定p6spy日志文件的位置，可以设置logfile参数，Windows操作系统上的路径要用正斜杠表示，比如要把日志放到d:\work\output\logs目录下应该写成d:/work/output/logs。

p6spy的日志文件格式

默认的p6spy日志文件输出6个域，用"|"分隔。第一个域是时间戳，其格式可以配置。第二个域是执行时间。第四个域是该记录的类型，有info, commit, statement, resultset等，第五个域是没有填充参数值的SQL语句，第六个域(也是最有用的域)是填充了参数值的SQL语句，使用该域的值可以方便的调试应用查询、插入、更新数据库的逻辑。典型的spy.log文件如下：

1104142990603|-1||debug||com.p6spy.engine.common.P6SpyOptions reloading properties

1104142990654|-1||info||Using properties file: D:\work\prjPAPS\implement\target\classes\spy.properties

1104142990674|-1||info||No value in environment for: getRealDataSource, using: null

1104142990674|-1||info||No value in environment for: getRealDataSourceClass, using: null

1104142990674|-1||info||No value in environment for: getRealDataSourceProperties, using: null

1104143027111|0|0|statement||delete from T_SYS_PARAMETER

1104143027472|10|0|statement|insert into T_SYS_PARAMETER (ID, P1, P2, P3, P4) values (?, ?, ?, ?, ?)|insert into T_SYS_PARAMETER (ID, P1, P2, P3, P4) values ('1', '10', '5',  '5', '16')

1104143027522|40|0|statement|select systempara0_.ID as ID0_, systempara0_.P1 as P1, systempara0_.P2 as P2, systempara0_.P3 as P3, systempara0_.P4 as P4 from T_SYS_PARAMETER systempara0_ where systempara0_.ID=?|systempara0_.ID as ID0_, systempara0_.P1 as P1, systempara0_.P2 as P2, systempara0_.P3 as P3, systempara0_.P4 as P4 from T_SYS_PARAMETER systempara0_ where systempara0_.ID=1

1104143027532|-1||resultset|systempara0_.ID as ID0_, systempara0_.P1 as P1, systempara0_.P2 as P2, systempara0_.P3 as P3, systempara0_.P4 as P4 from T_SYS_PARAMETER systempara0_ where systempara0_.ID=1|P1 = 10, P2 = 5, P3 = 5, P4 = 16

1104143027532|0|1|commit||

1104143027752|0|0|statement||delete from T_SYS_PARAMETER

1104143027762|10|0|commit||

 

p6spy的相关资源

http://www.p6spy.com/
http://www.jahia.org/jahia/page377.html
http://www.irongrid.com/catalog/default.php