Druid数据库配置详细介绍


    
    
    
    
  1. Driver
  2. jdbc.driverClassName=com.mysql.jdbc.Driver
  3. 数据库链接,
  4. jdbc.url=jdbc:mysql://192.168.0.37:3306/project_demo?useUnicode=true&characterEncoding=UTF-8
  5. 帐号
  6. jdbc.username=root
  7. 密码
  8. jdbc.password=xxxx
  9. 检测数据库链接是否有效,必须配置
  10. jdbc.validationQuery=SELECT 'x'
  11. 初始连接数
  12. jdbc.initialSize=3
  13. 最大连接池数量
  14. jdbc.maxActive=10
  15. 去掉,配置文件对应去掉
  16. jdbc.maxIdle=20
  17. 配置0,当线程池数量不足,自动补充。
  18. jdbc.minIdle=0
  19. 获取链接超时时间为1分钟,单位为毫秒。
  20. jdbc.maxWait=60000
  21. 获取链接的时候,不校验是否可用,开启会有损性能。
  22. jdbc.testOnBorrow=false
  23. 归还链接到连接池的时候校验链接是否可用。
  24. jdbc.testOnReturn=false
  25. 此项配置为true即可,不影响性能,并且保证安全性。意义为:申请连接的时候检测,如果空闲时间大于timeBetweenEvictionRunsMillis,执行validationQuery检测连接是否有效。
  26. jdbc.testWhileIdle=true
  27. 1.Destroy线程会检测连接的间隔时间
  28. 2.testWhileIdle的判断依据
  29. jdbc.timeBetweenEvictionRunsMillis=60000
  30. 一个链接生存的时间(之前的值:25200000,这个时间有点BT,这个结果不知道是怎么来的,换算后的结果是:25200000/1000/60/60 = 7个小时)
  31. jdbc.minEvictableIdleTimeMillis=300000
  32. 链接使用超过时间限制是否回收
  33. jdbc.removeAbandoned=true
  34. 超过时间限制时间(单位秒),目前为5分钟,如果有业务处理时间超过5分钟,可以适当调整。
  35. jdbc.removeAbandonedTimeout=300
  36. 链接回收的时候控制台打印信息,测试环境可以加上true,线上环境false。会影响性能。
  37. jdbc.logAbandoned=false


这周做整体配置更新处理。以观后效。

常用数据库validationQuery检查语句

 数据库  validationQuery
 Oracle  select 1 from dual
 mysql  select 1
 DB2  select 1 from sysibm.sysdummy1
 microsoft sql  select 1
 hsqldb  select 1 from INFORMATION_SCHEMA.SYSTEM_USERS
 postgresql  select version()
 ingres  select 1
 derby  select 1
 H2  select 1

ps 也可以自己定义一个表数据较少,简单的查询也可以。


  • DRUID介绍

    DRUID是阿里巴巴开源平台上一个数据库连接池实现,它结合了C3P0、DBCP、PROXOOL等DB池的优点,同时加入了日志监控,可以很好的监控DB池连接和SQL的执行情况,可以说是针对监控而生的DB连接池(据说是目前最好的连接池,不知道速度有没有BoneCP快)。

 

  • 配置参数

和其它连接池一样DRUID的DataSource类为:com.alibaba.druid.pool.DruidDataSource,基本配置参数如下:

 

配置 缺省值 说明
name   配置这个属性的意义在于,如果存在多个数据源,监控的时候可以通过名字来区分开来。 
如果没有配置,将会生成一个名字,格式是:”DataSource-” + System.identityHashCode(this)
jdbcUrl   连接数据库的url,不同数据库不一样。例如: 
mysql : jdbc:mysql://10.20.153.104:3306/druid2 
oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto
username   连接数据库的用户名
password   连接数据库的密码。如果你不希望密码直接写在配置文件中,可以使用ConfigFilter。详细看这里:https://github.com/alibaba/druid/wiki/%E4%BD%BF%E7%94%A8ConfigFilter
driverClassName 根据url自动识别 这一项可配可不配,如果不配置druid会根据url自动识别dbType,然后选择相应的driverClassName(建议配置下)
initialSize 0 初始化时建立物理连接的个数。初始化发生在显示调用init方法,或者第一次getConnection时
maxActive 8 最大连接池数量
maxIdle 8 已经不再使用,配置了也没效果
minIdle   最小连接池数量
maxWait   获取连接时最大等待时间,单位毫秒。配置了maxWait之后,缺省启用公平锁,并发效率会有所下降,如果需要可以通过配置useUnfairLock属性为true使用非公平锁。
poolPreparedStatements false 是否缓存preparedStatement,也就是PSCache。PSCache对支持游标的数据库性能提升巨大,比如说oracle。在mysql下建议关闭。
maxOpenPreparedStatements -1 要启用PSCache,必须配置大于0,当大于0时,poolPreparedStatements自动触发修改为true。在Druid中,不会存在Oracle下PSCache占用内存过多的问题,可以把这个数值配置大一些,比如说100
validationQuery   用来检测连接是否有效的sql,要求是一个查询语句。如果validationQuery为null,testOnBorrow、testOnReturn、testWhileIdle都不会其作用。
testOnBorrow true 申请连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能。
testOnReturn false 归还连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能
testWhileIdle false 建议配置为true,不影响性能,并且保证安全性。申请连接的时候检测,如果空闲时间大于timeBetweenEvictionRunsMillis,执行validationQuery检测连接是否有效。
timeBetweenEvictionRunsMillis   有两个含义: 
1) Destroy线程会检测连接的间隔时间2) testWhileIdle的判断依据,详细看testWhileIdle属性的说明
numTestsPerEvictionRun   不再使用,一个DruidDataSource只支持一个EvictionRun
minEvictableIdleTimeMillis    
connectionInitSqls   物理连接初始化的时候执行的sql
exceptionSorter 根据dbType自动识别 当数据库抛出一些不可恢复的异常时,抛弃连接
filters   属性类型是字符串,通过别名的方式配置扩展插件,常用的插件有: 
监控统计用的filter:stat日志用的filter:log4j防御sql注入的filter:wall
proxyFilters  

类型是List,如果同时配置了filters和proxyFilters,是组合关系,并非替换关系

 

  • 使用方法

DB数据源的使用方法也就是2种,一种是在代码中写死通过NEW操作符创建DataSSource,然后set一些连接属性,这里不在累述;另外一种是基于SPRING的配置方法,然后让SPRING的Context自动加载配置(以下配置文件默认都在项目根目录下conf文件夹中)

1、属性文件:application.properties(DataSource连接参数)

 

jdbc.driverClassName=com.mysql.jdbc.Driver 
jdbc.url=jdbc:mysql://127.0.0.1:3306/test 
jdbc.username=root 
jdbc.password=1qaz!QAZ

 

2、SPRING配置文件:spring-base.xml

 

 
 xmlns:xsi=” http://www.w3.org/2001/XMLSchema-instance” xmlns:batch=” http://www.springframework.org/schema/batch“ 
 xsi:schemaLocation=” http://www.springframework.org/schema/beans 
           http://www.springframework.org/schema/beans/spring-beans-4.0.xsd“>

 

   class=”org.springframework.beans.factory.config.PropertyPlaceholderConfigurer”> 
   
    
    ./conf/application.properties 
   
 
  
 
 

 

   init-method=”init” destroy-method=”close”> 
  {jdbc.driverClassName}" /> 
  <property name="url" value="
{jdbc.url}” /> 
  {jdbc.username}" /> 
  <property name="password" value="
{jdbc.password}” /> 
   
   
   
  

   
  

   
  

   
  

  

   
   
  

   
   
     value=”20” />

 

  

   
   
   
   
    
     
   
 
  
 
 

 

  
   
 

上面红色标注部分为监控DB池连接执行监控,后面在做详细说明.

 

  • 监控方式

1、WEB方式监控配置

 
     DruidStatView 
     com.alibaba.druid.support.http.StatViewServlet 
 
 
  
     DruidStatView 
     /druid/* 
 
 
  
  druidWebStatFilter 
  com.alibaba.druid.support.http.WebStatFilter 
   
   exclusions 
   /public/*,*.js,*.css,/druid*,*.jsp,*.swf 
  
 
   
   principalSessionName 
   sessionInfo 
  
 
   
   profileEnable 
   true 
  
 
 
 
  
  druidWebStatFilter 
  /* 
 

 

把上面servlet配置添加到项目web.xml即可。然后运行Tomcat,浏览器输入 http://IP:PROT/druid

就可以打开Druid的监控页面了.

2、日志文件监控

Druid提供了多种日志文件监控 commons-logging、log4j等,这里我们主要使用slf4j和logback来进行日志监控配置。

首先要引入slf4j和logback相关的jar文件(从Maven公共仓库下载 http://search.maven.org/)

1.7.7 
1.1.2

 

 
    org.slf4j 
    slf4j-api 
    {slf4j.version}</version> 
 </dependency> 
<dependency> 
    <groupId>ch.qos.logback</groupId> 
    <artifactId>logback-access</artifactId> 
    <version>
{logback.version}
 
 
 
    ch.qos.logback 
    logback-core 
    {logback.version}</version> 
</dependency> 
<dependency> 
    <groupId>ch.qos.logback</groupId> 
    <artifactId>logback-classic</artifactId> 
    <version>
{logback.version}
 
 

 

接下配置logback的配置文件(./conf/logback.xml)

 

  
   
   %d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n 
   
 
  
 
 

  
  ./logs/druid_info.log 
   
   %d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n 
  
 
   
   debug 
  
 
 

  
   
 
 

 

最后就是写一个测试类进行测试

public class TestMain {

 public static void loadLoggerContext() { 
  System.getProperties().put(“logback.configurationFile”, “./conf/logback.xml”); 
  LoggerContext lc = (LoggerContext) LoggerFactory.getILoggerFactory(); 
  StatusPrinter.setPrintStream(System.err); 
  StatusPrinter.print(lc); 
 }

 public static void main(String[] args) { 
  try { 
   loadLoggerContext(); 
   FileSystemXmlApplicationContext context = new FileSystemXmlApplicationContext(“./conf/spring-base.xml”); 

  } catch (Exception e) { 
   System.out.println(e); 
  } 
 } 
}

本文使用Druid的连接池替换掉原来的C3P0连接池,然后配置Druid的相关属性,完成对Spring web工程的JDBC监控。

其实,我采用Druid替换其它连接池,最关键的一个理由是Druid有对SQL执行的监控统计功能。 :)

本文就是来看看看Druid的监控功能。~~~ 一起玩起来 : )

Druid介绍

Druid是一个JDBC组件库,包括数据库连接池、SQL Parser等组件。DruidDataSource是最好的数据库连接池。参考Druid wiki上的文章 <<各连接池的性能比较>>

Druild包获取

Maven工程中添加druid依赖包:

        
        <dependency>
            <groupId>com.alibabagroupId>
            <artifactId>druidartifactId>
            <version>1.0.26version>
        dependency>

Druid使用

替换C3P0连接池

Web工程原先采用C3P0连接池的配置:

    
    <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource"
        destroy-method="close">
        <property name="driverClass" value="${jdbc.driverClassName}" />
        <property name="jdbcUrl" value="${jdbc.url}" />
        <property name="user" value="${jdbc.username}" />
        <property name="password" value="${jdbc.password}" />
        <property name="autoCommitOnClose" value="false" />
        <property name="maxIdleTime" value="${cpool.maxIdleTime}" />
        <property name="checkoutTimeout" value="${cpool.checkoutTimeout}" />
        <property name="initialPoolSize" value="${cpool.minPoolSize}" />
        <property name="minPoolSize" value="${cpool.minPoolSize}" />
        <property name="maxPoolSize" value="${cpool.maxPoolSize}" />
        <property name="acquireIncrement" value="${cpool.acquireIncrement}" />
        <property name="maxIdleTimeExcessConnections" value="${cpool.maxIdleTimeExcessConnections}" />
    bean>

改成Druid连接池DruidDataSource

    
    <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource"
        destroy-method="close">
        <property name="url" value="${jdbc.url}" />
        <property name="username" value="${jdbc.username}" />
        <property name="password" value="${jdbc.password}" />
        <property name="maxActive" value="20" />
        <property name="initialSize" value="1" />
        <property name="maxWait" value="60000" />
        <property name="minIdle" value="1" />
        <property name="timeBetweenEvictionRunsMillis" value="60000" />
        <property name="minEvictableIdleTimeMillis" value="300000" />
        <property name="testWhileIdle" value="true" />
        <property name="testOnBorrow" value="false" />
        <property name="testOnReturn" value="false" />
        <property name="poolPreparedStatements" value="true" />
        <property name="maxOpenPreparedStatements" value="20" />
    bean>

StatViewServlet配置

Druid内置提供了一个StatViewServlet用于展示Druid的统计信息

这个StatViewServlet的用途包括:

  • 提供监控信息展示的html页面
  • 提供监控信息的JSON API

StatViewServlet是一个标准的javax.servlet.http.HttpServlet,需要配置在你web应用中的WEB-INF/web.xml中。

    <servlet>
        <servlet-name>DruidStatViewservlet-name>
        <servlet-class>com.alibaba.druid.support.http.StatViewServletservlet-class>
    servlet>
    <servlet-mapping>
        <servlet-name>DruidStatViewservlet-name>
        <url-pattern>/druid/*url-pattern>
    servlet-mapping>

配置完之后,可以通过如下格式的地址在浏览器访问查看。

http:/://druid

举个例子:

如果host为localhost,port为8080,context为Demo,那么,可以通过如下URL访问。

http://localhost:8080/Demo/druid

那么问题来了

查看的时候,能否提供用户名和密码作为验证呢,而不是直接就能看JDBC执行的状态信息?

答案是肯定的。

需要在上述配置的情况下,配置Servlet的 loginUsername 和 loginPassword这两个初始参数。

如:

    <servlet>
        <servlet-name>DruidStatViewservlet-name>
        <servlet-class>com.alibaba.druid.support.http.StatViewServletservlet-class>
      <init-param>  
           
         <param-name>loginUsernameparam-name>  
         <param-value>druidparam-value>  
      init-param>  
      <init-param>  
          
        <param-name>loginPasswordparam-name>  
        <param-value>druidparam-value>  
      init-param>  
    servlet>
    <servlet-mapping>
        <servlet-name>DruidStatViewservlet-name>
        <url-pattern>/druid/*url-pattern>
    servlet-mapping>

配置好之后,登录之后才能访问。

StatFilter配置

Druid内置提供一个StatFilter用于统计监控信息

如果没有配置StatFilter,那么,我们无法获取相关统计信息。

比如:

无法看到SQL监控TAB上的数据。

URI监控TAB中,无法获取JDBC相关的SQL执行信息。

 

如何展示出这些数据呢? 解决的办法就是配置StatFilter

StatFilter的别名是stat,在spring中使用别名配置方式如下:

<property name="filters" value="stat" />

将上述stat添加到dataSource中去即可。

    
    <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource"
        destroy-method="close">
        <property name="url" value="${jdbc.url}" />
        <property name="username" value="${jdbc.username}" />
        <property name="password" value="${jdbc.password}" />
        <property name="filters" value="stat" />
        <property name="maxActive" value="20" />
        <property name="initialSize" value="1" />
        <property name="maxWait" value="60000" />
        <property name="minIdle" value="1" />
        <property name="timeBetweenEvictionRunsMillis" value="60000" />
        <property name="minEvictableIdleTimeMillis" value="300000" />
        <property name="testWhileIdle" value="true" />
        <property name="testOnBorrow" value="false" />
        <property name="testOnReturn" value="false" />
        <property name="poolPreparedStatements" value="true" />
        <property name="maxOpenPreparedStatements" value="20" />
    bean>

添加完毕之后,再来看一下上述两个TAB ( SQL监控以及 URI监控)下JDBC的内容:

在SQL监控页面,可以很清楚地看到目前执行SQL的具体情况,包括某条SQL语句执行的时间(平均、最慢)、SQL执行次数、SQL执行出错的次数等。这些信息,可以作为系统SQL语句优化的一个指标。

在URI监控页,可以清楚地看到执行某个动作,关联SQL有多少,请求次数、执行时间、并发数等信息。

StatFilter可以和其他的Filter配置使用,比如, 与log4j组合使用。

 <property name="filters" value="stat,log4j" />

这样,我们在点击 “记录日志并重置” 的按钮时,Console中就会输入JDBC相关日志,日志采用JSON的方式记录,如:

[INFO ][2016-11-15 20:11:11,677] com.alibaba.druid.pool.DruidDataSourceStatLoggerImpl.log(DruidDataSourceStatLoggerImpl.java:77) - 
{"url":"jdbc:mysql://127.0.0.1:3306/Demo?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull","dbType":"mysql","name":"DataSource-958465974","activeCount":0,"poolingCount":1,"connectCount":0,"closeCount":0}

内置Filter别名和对应的Filter类名如下:

别名 Filter类名
default com.alibaba.druid.filter.stat.StatFilter
stat com.alibaba.druid.filter.stat.StatFilter
mergeStat com.alibaba.druid.filter.stat.MergeStatFilter
encoding com.alibaba.druid.filter.encoding.EncodingConvertFilter
log4j com.alibaba.druid.filter.logging.Log4jFilter
log4j2 com.alibaba.druid.filter.logging.Log4j2Filter
slf4j com.alibaba.druid.filter.logging.Slf4jLogFilter
commonlogging com.alibaba.druid.filter.logging.CommonsLogFilter

慢SQL记录

StatFilter属性slowSqlMillis用来配置SQL慢的标准,执行时间超过slowSqlMillis的就是慢。slowSqlMillis的缺省值为3000,也就是3秒。

<bean id="stat-filter" class="com.alibaba.druid.filter.stat.StatFilter">
    <property name="slowSqlMillis" value="10000" />
    <property name="logSlowSql" value="true" />
bean>

在上面的配置中,slowSqlMillis被修改为10秒,并且通过日志输出执行慢的SQL。

slowSqlMillis属性也可以通过connectProperties来配置,例如:

<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
    ... ...
    <property name="filters" value="stat" />
    <property name="connectionProperties" value="druid.stat.slowSqlMillis=5000" />
  bean>

Wallfilter配置

配置WallFilter,可以起到拦截作用,从而形成SQL的白名单和黑名单。

缺省情况下,配置装载的目录如下:

数据库类型 目录
mysql META-INF/druid/wall/mysql
oracle META-INF/druid/wall/oracle
sqlserver META-INF/druid/wall/sqlserver
postgres META-INF/druid/wall/postgres

从配置目录中以下文件中读取配置:

  deny-variant.txt
  deny-schema.txt
  deny-function.txt
  permit-variant.txt
  permit-variant.txt

指定配置装载的目录是可以指定,例如:

  <bean id="wall-filter-config" class="com.alibaba.druid.wall.WallConfig" init-method="init">
      
      <property name="dir" value="META-INF/druid/wall/mysql" />
  bean>

  <bean id="wall-filter" class="com.alibaba.druid.wall.WallFilter">
      <property name="dbType" value="mysql" />
      <property name="config" ref="wall-filter-config" />
  bean>

  <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
      ...
      <property name="proxyFilters">
          <list>
              <ref bean="wall-filter"/>
          list>
      property>
  bean>

本文实例中,采用如下的配置:


    <bean id="wall-filter-config" class="com.alibaba.druid.wall.WallConfig"
        init-method="init">
        
        <property name="dir" value="META-INF/druid/wall/mysql" />
    bean>

    <bean id="wall-filter" class="com.alibaba.druid.wall.WallFilter">
        <property name="dbType" value="mysql" />
        <property name="config" ref="wall-filter-config" />
    bean>

    
    <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource"
        destroy-method="close">
        <property name="url" value="${jdbc.url}" />
        <property name="username" value="${jdbc.username}" />
        <property name="password" value="${jdbc.password}" />
        <property name="filters" value="stat" />
        <property name="maxActive" value="20" />
        <property name="initialSize" value="1" />
        <property name="maxWait" value="60000" />
        <property name="minIdle" value="1" />
        <property name="timeBetweenEvictionRunsMillis" value="60000" />
        <property name="minEvictableIdleTimeMillis" value="300000" />
        <property name="testWhileIdle" value="true" />
        <property name="testOnBorrow" value="false" />
        <property name="testOnReturn" value="false" />
        <property name="poolPreparedStatements" value="true" />
        <property name="maxOpenPreparedStatements" value="20" />
        <property name="proxyFilters">
            <list>
                <ref bean="wall-filter" />
            list>
        property>
    bean>

配置好Wallfilter, 我们就可以看到SQL防火墙 TAB下的内容了。

因为是默认状态,没有配置任何拦截的属性信息,所以,SQL的执行都在白名单中展示出来了。

配置Spring和jdbc的关联

最后,还有一个Tab的内容没有展示,那就是Spring监控

Druid提供了Spring和Jdbc的关联监控。

本文在Spring的applicationContext.xml配置文件中配置如下信息,支持方法名的拦截。

    <bean id="druid-stat-interceptor"
        class="com.alibaba.druid.support.spring.stat.DruidStatInterceptor">
    bean>

    <bean id="druid-stat-pointcut" class="org.springframework.aop.support.JdkRegexpMethodPointcut"
        scope="prototype">
        <property name="patterns">
            <list>
                <value>com.demo.mybatis.auto.*value>
                <value>com.demo.mybatis.manual.*value>
            list>
        property>
    bean>
    <aop:config>
        <aop:advisor advice-ref="druid-stat-interceptor"
            pointcut-ref="druid-stat-pointcut" />
    aop:config>

 

完工后,我们再去看一下,Spring监控的TAB内容,就可以看到相关的MyBatis Mapper执行信息。

在Spring监控页,可以显示相关DAO执行的方法,方法执行的次数、执行的时间等信息。

小结

通过上述几个部分的配置,监控页面上所有的TAB都可以查看信息了。

当然,Druid还有很多其他的功能,在这篇文章中就一一展示,有兴趣的朋友可以在Druid的Github网页上查看。

                

你可能感兴趣的:(数据库连接池)