JDBC-day06(数据库连接池)
八：数据库连接池
1. 传统连接数据库的模式
在使用开发基于数据库的web程序时，传统的模式基本是按以下步骤：
- 在主程序（如servlet、bea，ns）中建立数据库连接
- 进行sql操作
- 断开数据库连接
传统的模式存在的问题：
- 1.数据库的连接资源并没有得到很好的重复利用。 若同时有几百人甚至几千人在线，频繁的进行数据库连接操作将占用很多的系统资源，严重的甚至会造成服务器的崩溃。
- 2.对于每一次数据库连接，使用完后都得断开。 如果程序出现异常而未能关闭，将会导致数据库系统中的
内存泄漏，最终将导致重启数据库。 - 3.不能控制被创建的连接对象数，系统资源会被毫无顾及的分配出去，如连接过多，也可能导致内存泄漏，服务器崩溃。
2. 数据库连接池技术介绍
- 为解决传统开发中的数据库连接问题，可以采用数据库连接池技术。
- 数据库连接池的基本思想：就是为数据库连接建立一个“
缓冲池”。预先在缓冲池中放入一定数量的连接，当需要建立数据库连接时，只需从“缓冲池”中取出一个，使用完毕之后再放回去。
连接池工作原理
连接池优点
1. 资源重用
数据库连接得到重用，减少创建次数，降低了大量性能开销。增加了系统运行环境的平稳性。
2. 更快的系统反应速度
数据库连接池在初始化过程中，根据配置文件已创建若干数据库连接放在连接池中，当业务请求处理时，可直接使用现有的连接，极大降低了连接的创建与释放频率与时间开销。提高了业务系统的效率。
3. 新的资源分配手段
对于多应用共享同一数据库的系统而言，通过应用层通过数据库连接池的配置，可限制某一应用最大/最小数据库连接，或限制数据库连接使用的资源数。避免某一应用独占所有资源。
4. 统一的连接管理，避免数据库连接泄漏
在较为完善的数据库连接池实现中，可预先设定占用超时等参数，对被占用的数据库连接进行强制回收，从而避免资源泄露问题的出现。
3. 开源的数据库连接池
- JDBC 的数据库连接池使用
javax.sql.DataSource来表示，DataSource 只是一个接口，该接口通常由服务器(Weblogic, WebSphere, Tomcat)提供实现，也有一些开源组织提供实现：- DBCP 是Apache提供的数据库连接池。tomcat 服务器自带dbcp数据库连接池。速度相对c3p0较快，但因自身存在BUG，
Hibernate3已不再提供支持。 - C3P0 是一个开源组织提供的一个数据库连接池，**速度相对较慢，稳定性还可以。hibernate官方推荐使用
- Proxool 是sourceforge下的一个开源项目数据库连接池，有
监控连接池状态的功能，稳定性较c3p0差一点 - BoneCP 是一个开源组织提供的数据库连接池，速度快
- Druid 是阿里提供的数据库连接池，据说是集DBCP 、C3P0 、Proxool 优点于一身的数据库连接池，但是速度不确定是否有BoneCP快
- DBCP 是Apache提供的数据库连接池。tomcat 服务器自带dbcp数据库连接池。速度相对c3p0较快，但因自身存在BUG，
- DataSource 通常被称为
数据源，它包含连接池和连接池管理两个部分，习惯上也经常把 DataSource 称为连接池 - DataSource用来取代DriverManager来获取Connection，获取速度快，同时可以大幅度提高数据库访问速度。
- 特别注意：
- 数据源（池）和数据库连接不同，
数据源无需创建多个，它是产生数据库连接的工厂，因此整个应用只需要一个数据源（池）即可。 - 当数据库访问结束后，程序还是像以前一样关闭数据库连接：
conn.close();但conn.close()并没有关闭数据库的物理连接，它仅仅把数据库连接释放，归还给了数据库连接池。
- 数据源（池）和数据库连接不同，
4. C3P0数据库连接池
DBCP 是Apache提供的数据库连接池。应在系统中增加c3p0.jar文件：
import java.beans.PropertyVetoException;
import java.sql.Connection;
import java.sql.SQLException;
import org.junit.Test;
import com.mchange.v2.c3p0.ComboPooledDataSource;
import com.mchange.v2.c3p0.DataSources;
public class C3P0Test {
//方式一：不推荐
@Test
public void testGetConnection() throws Exception {
//获取C3P0数据库连接池
ComboPooledDataSource cpds = new ComboPooledDataSource();
cpds.setDriverClass( "com.mysql.jdbc.Driver" ); //loads the jdbc driver
cpds.setJdbcUrl( "jdbc:mysql://localhost:3306/test" );
cpds.setUser("root");
cpds.setPassword("123456");
//通过设置相关参数，对数据库连接池进行管理
//设置初始时数据库连接池中的连接数
cpds.setInitialPoolSize(10);
Connection conn = cpds.getConnection();
System.out.println(conn);
//销毁C3P0数据库连接池（一般不用）
DataSources.destroy(cpds);
}
//方式二:使用配置文件(12: c3p0-config.xml )
@Test
public void testGetConnection1() throws Exception {
ComboPooledDataSource cpds = new ComboPooledDataSource("helloc3p0"); //参数要与配置文件中named-config的name一致
Connection conn = cpds.getConnection();
System.out.println(conn);
}
}
c3p0-config.xml（位于项目的src下）
<?xml version="1.0" encoding="UTF-8"?>
<c3p0-config>
<named-config name="helloc3p0">
<!-- 获取连接的4个基本信息(name参数的大小写不要错了) -->
<property name="driverClass">com.mysql.jdbc.Driver</property>
<property name="jdbcUrl">jdbc:mysql:///test
<property name="user">root</property>
<property name="password">123456</property>
<!-- 进行数据库连接池管理的基本信息 -->
<!-- 当数据库连接池不够时，c3p0一次性向数据库服务器申请的连接数 -->
<property name="acquireIncrement">50</property>
<!-- 连接池初始化时的连接数 -->
<property name="initialPoolSize">100</property>
<!-- 连接池维护的最少连接数 -->
<property name="minPoolSize">50</property>
<!-- 连接池维护的最大连接数 -->
<property name="maxPoolSize">1000</property>
<!-- 连接池最多维护的Statement个数 -->
<property name="maxStatements">0</property>
<!-- 每个连接最多使用的Statement个数 -->
<property name="maxStatementsPerConnection">5</property>
</named-config>
</c3p0-config>
5. DBCP数据库连接池
DBCP 是 Apache 软件基金组织下的开源连接池实现，该连接池依赖该组织下的另一个开源系统：Common-pool。如需使用该连接池实现，应在系统中增加如下两个 jar 文件：
Commons-dbcp.jar：连接池的实现Commons-pool.jar：连接池实现的依赖库- Tomcat 的连接池正是采用该连接池来实现的。 该数据库连接池既可以与应用服务器整合使用，也可由应用程序独立使用
- 配置属性说明
| 属性 | 默认值 | 说明 |
|---|---|---|
| initialSize | 0 | 连接池启动时创建的初始化连接数量 |
| maxActive | 8 | 连接池中可同时连接的最大的连接数 |
| maxIdle | 8 | 连接池中最大的空闲的连接数，超过的空闲连接将被释放，如果设置为负数表示不限制 |
| minIdle | 0 | 连接池中最小的空闲的连接数，低于这个数量会被创建新的连接。该参数越接近maxIdle，性能越好，因为连接的创建和销毁，都是需要消耗资源的；但是不能太大。 |
| maxWait | 无限制 | 最大等待时间，当没有可用连接时，连接池等待连接释放的最大时间，超过该时间限制会抛出异常，如果设置-1表示无限等待 |
| poolPreparedStatements | false | 开启池的Statement是否prepared |
| maxOpenPreparedStatements | 无限制 | 开启池的prepared 后的同时最大连接数 |
| minEvictableIdleTimeMillis | 连接池中连接，在时间段内一直空闲， 被逐出连接池的时间 | |
| removeAbandonedTimeout | 300 | 超过时间限制，回收没有用(废弃)的连接 |
| removeAbandoned | false | 超过removeAbandonedTimeout时间后，是否进 行没用连接（废弃）的回收 |
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.InputStream;
import java.sql.Connection;
import java.sql.SQLException;
import java.util.Properties;
import javax.sql.DataSource;
import org.apache.commons.dbcp.BasicDataSource;
import org.apache.commons.dbcp.BasicDataSourceFactory;
import org.junit.Test;
public class DBCPTest {
//方式一：不推荐
@Test
//测试DBCP的数据库连接池技术
public void testGetConnection() throws Exception {
//创建DBCP的数据库连接池
BasicDataSource source = new BasicDataSource();
//设置基本信息
source.setDriverClassName("com.mysql.jdbc.Driver");
source.setUrl("jdbc:mysql:///test");
source.setUsername("root");
source.setPassword("123456");
//配置数据池管理的相关属性
source.setInitialSize(10);
source.setMaxWait(20);
Connection conn = source.getConnection();
System.out.println(conn);
}
//方式二：使用配置文件
@Test
public void testGetConnection1() throws Exception {
Properties pros = new Properties();
//方式一：
//InputStream is = ClassLoader.getSystemClassLoader().getResourceAsStream("dbcp.properties");
//方式二：
FileInputStream is = new FileInputStream(new File("src/dbcp.properties"));
pros.load(is);
DataSource source = BasicDataSourceFactory.createDataSource(pros);
Connection conn = source.getConnection();
System.out.println(conn);
}
}
dbcp.properties（位于项目的src下）
username=root
password=123456
url=jdbc:mysql:///test
driverClassName=com.mysql.jdbc.Driver
initialSize=10
6. Druid（德鲁伊）数据库连接池
- Druid是阿里巴巴开源平台上一个数据库连接池实现，它结合了
C3P0、DBCP、Proxool等DB数据库连接池的优点，同时加入了日志监控，可以很好的监控DB池连接和SQL的执行情况，可以说是目前最好的连接池之一。 - 详细配置参数：
| 配置 | 缺省 | 说明 |
|---|---|---|
| name | 配置这个属性的意义在于，如果存在多个数据源，监控的时候可以通过名字来区分开来。 如果没有配置，将会生成一个名字，格式是：”DataSource-” + System.identityHashCode(this) | |
| url | 连接数据库的url，不同数据库不一样。例如：mysql : jdbc:mysql://10.20.153.104:3306/druid2 oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto | |
| username | 连接数据库的用户名 | |
| password | 连接数据库的密码。如果你不希望密码直接写在配置文件中，可以使用ConfigFilter。详细看这里：https://github.com/alibaba/druid/wiki/使用ConfigFilter | |
| driverClassName | 根据url自动识别 这一项可配可不配，如果不配置druid会根据url自动识别dbType，然后选择相应的driverClassName(建议配置下) | |
| initialSize | 0 | 初始化时建立物理连接的个数。初始化发生在显示调用init方法，或者第一次getConnection时 |
| maxActive | 8 | 最大连接池数量 |
| maxIdle | 8 | 已经不再使用，配置了也没效果 |
| minIdle | 最小连接池数量 | |
| maxWait | 获取连接时最大等待时间，单位毫秒。配置了maxWait之后，缺省启用公平锁，并发效率会有所下降，如果需要可以通过配置useUnfairLock属性为true使用非公平锁。 | |
| poolPreparedStatements | false | 是否缓存preparedStatement，也就是PSCache。PSCache对支持游标的数据库性能提升巨大，比如说oracle。在mysql下建议关闭。 |
| maxOpenPreparedStatements | -1 | 要启用PSCache，必须配置大于0，当大于0时，poolPreparedStatements自动触发修改为true。在Druid中，不会存在Oracle下PSCache占用内存过多的问题，可以把这个数值配置大一些，比如说100 |
| validationQuery | 用来检测连接是否有效的sql，要求是一个查询语句。如果validationQuery为null，testOnBorrow、testOnReturn、testWhileIdle都不会其作用。 | |
| testOnBorrow | true | 申请连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。 |
| testOnReturn | false | 归还连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能 |
| testWhileIdle | false | 建议配置为true，不影响性能，并且保证安全性。申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。 |
| timeBetweenEvictionRunsMillis | 有两个含义： 1)Destroy线程会检测连接的间隔时间2)testWhileIdle的判断依据，详细看testWhileIdle属性的说明 | |
| numTestsPerEvictionRun | 不再使用，一个DruidDataSource只支持一个EvictionRun | |
| minEvictableIdleTimeMillis | ||
| connectionInitSqls | 物理连接初始化的时候执行的sql | |
| exceptionSorter | 根据dbType自动识别 当数据库抛出一些不可恢复的异常时，抛弃连接 | |
| filters | 属性类型是字符串，通过别名的方式配置扩展插件，常用的插件有： 监控统计用的filter:stat日志用的filter:log4j防御sql注入的filter:wall | |
| proxyFilters | 类型是List，如果同时配置了filters和proxyFilters，是组合关系，并非替换关系 |
import java.io.InputStream;
import java.sql.Connection;
import java.util.Properties;
import javax.sql.DataSource;
import org.junit.Test;
import com.alibaba.druid.pool.DruidDataSource;
import com.alibaba.druid.pool.DruidDataSourceFactory;
public class DruidTest {
@Test
public void testGetConnection() throws Exception {
Properties pros = new Properties();
InputStream is =
ClassLoader.getSystemClassLoader().getResourceAsStream("druid.properties");
pros.load(is);
DataSource source = DruidDataSourceFactory.createDataSource(pros);
Connection conn = source.getConnection();
System.out.println(conn);
}
}
druid.properties（位于项目的src下）
username=root
password=123456
url=jdbc:mysql:///test
driverClassName=com.mysql.jdbc.Driver
initialSize=10
maxActive=10
7.数据库连接池优化工具类
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;
import javax.sql.DataSource;
import org.apache.commons.dbcp.BasicDataSourceFactory;
import org.apache.commons.dbutils.DbUtils;
import com.alibaba.druid.pool.DruidDataSourceFactory;
import com.mchange.v2.c3p0.ComboPooledDataSource;
//使用连接池技术对之前的连接进行优化
public class JDBCUtils {
/*
* 使用C3P0的数据库连接池技术
*/
//数据库连接池一个即可
private static ComboPooledDataSource cpds = new ComboPooledDataSource("helloc3p0"); //参数要与配置文件中named-config的name一致
public static Connection getConnection() throws Exception {
Connection conn = cpds.getConnection();
return conn;
}
/*
* 使用DBCP的数据库连接池技术
*/
//创建一个DBCP数据库连接池
private static DataSource source;
static{//静态代码块
try {
Properties pros = new Properties();
FileInputStream is = new FileInputStream(new File("src/dbcp.properties"));
pros.load(is);
source = BasicDataSourceFactory.createDataSource(pros);
} catch (Exception e) {
e.printStackTrace();
}
}
//调用DBCP数据库连接池
public static Connection getConnection1() throws Exception {
Connection conn = source.getConnection();
return conn;
}
/*
* 使用德鲁伊数据库连接池
*/
//创建一个德鲁伊数据库连接池
private static DataSource source1;
static{//静态代码块
try {
Properties pros = new Properties();
InputStream is = ClassLoader.getSystemClassLoader().getResourceAsStream("druid.properties");
pros.load(is);
source1 = DruidDataSourceFactory.createDataSource(pros);
} catch (Exception e) {
e.printStackTrace();
}
}
//调用德鲁伊数据库连接池
public static Connection getConnection2() throws Exception {
Connection conn = source1.getConnection();
return conn;
}
//关闭连接与Statement资源的操作
public static void closeResource(Connection conn,Statement ps) {
try {
if(ps != null) {
ps.close();
}
} catch (SQLException e) {
e.printStackTrace();
}
try {
if(conn != null) {
conn.close();
}
} catch(Exception e) {
e.printStackTrace();
}
}
public static void closeResource(Connection conn,Statement ps,ResultSet rs) {
try {
if(ps != null) {
ps.close();
}
} catch (SQLException e) {
e.printStackTrace();
}
try {
if(conn != null) {
conn.close();
}
} catch(Exception e) {
e.printStackTrace();
}
try {
if(rs != null) {
rs.close();
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
其中可能会出现不少的小问题，请多多包含
感谢大家的支持，关注，评论，点赞！
参考资料：尚硅谷_宋红康_JDBC核心技术