一、数据库连接池
1.1 什么是数据库连接池
连接池是Connection对象的缓冲区,它里面会存放一些Connection,当我们Java程序需要使用Connection的时候,如果连接池中有则直接从连接池获取,不需要去新创建Connection了。连接池让Java程序能够复用连接、管理连接。
1.2 为什么要使用连接池
- 因为每次创建和销毁连接都会带来较大的系统开销
- 每次创建和销毁连接都要消耗大概0.05~1s的时间
- 可以防止大量用户并发访问数据库服务器
1.3 连接池的优势
1.3.1 资源重用
由于数据库连接得到重用,避免了频繁创建、释放连接引起的大量性能开销。在减少系统开销的基础之上,也增进了系统运行环境的稳定性。
1.3.2 更快的系统响应速度
数据库连接池在初始化过程中,往往已经创建了若干数据库连接置于池中备用。此时连接的初始化工作均已完成。对于业务请求处理而言,直接利用现有可用连接,避免了数据库连接初始化和释放过程的时间开销,从而缩减了系统整体响应时间。
1.3.3 新的资源分配手段
对于多应用共享同一数据库而言,可在应用层通过数据库连接的配置。
1.3.4 统一的连接管理,避免数据库连接泄露
在较为完备的数据库连接池实现中,可根据预先的连接占用超时设定,强制收回被占用连接。从而避免了常规数据库连接操作中可能出现的资源泄露。
1.4 连接池的原理
- 连接池维护者两个容器空闲池和活动池。
- 空闲池用于存放未使用的连接,活动池用于存放正在使用中的连接,活动池中的连接使用完之后要归还回空闲池。
- 当Java程序需要连接的时候,先要判断空闲池中是否有连接,如果空闲池中有连接则取出一个连接放置到活动池供Java程序使用。
- Java程序需要连接的时候,如果空闲池中没有连接了,就先判断活动池的连接数是否已经达到了最大连接数,如果未达到最大连接数,则会新创建一个连接放置到活动池,供Java程序使用。
- 如果空闲池中没有连接了,活动池中的连接也已经达到了最大连接数,就不能再新创建连接了,此时会判断是否等待超时,如果没有等待超时就需要等待活动池中的连接归还回空闲池
- 如果等待超时了,则可以采取多种处理方式。如:直接抛出超时异常,或者将活动池中使用最久的连接移除掉归还回空闲池以供Java程序使用。
1.5 连接池的实现
1.5.1 DataSource接口
JDBC的数据库连接池使用javax.sql.DataSource来表示,DataSource只是一个接口,所有的Java数据库连接池都需要实现该接口。该接口通常由服务器(Weblogic,WebSphere,Tomcat)提供实现,也有一些开源组织提供实现。
1.5.2 常见的数据库连接池
- DBCP是Apache提供的数据库连接池,速度相对c3p0较快,但因为其自身存在BUG,Hibernate3已不再提供支持。
- C3P0是一个开源组织提供的一个数据库连接池,速度相对较慢,稳定性还行。
- Proxool是sourceforge下的一个开源项目数据库连接池,有监控连接池状态的功能,稳定性较c3p0差一点。
-
- HikariCP俗称光连接池,是目前速度最快的连接池。
- Druid是阿里提供的额数据库连接池,据说是集DBCP、C3P0、Proxool优点于一身的数据库连接池。
1.5.3 Druid连接池的使用
- 导入Druid的jar包
- 创建Druid连接池的配置文件druid.properties文件,放置到resources文件夹下
- 代码中使用
public static void test01() throws Exception{
// 1. 创建一个Properties对象,让其去读取druid.properties文件
Properties properties = new Properties();
// 1.1 将druid.properties配置文件转成字节输入流
// FileInputStream is = new FileInputStream("绝对路径");
// 1.2 使用相对路径来将配置文件转成字节输入流,可以使用类加载器来读取类路径下文件
// 获取ClassLoader对象
ClassLoader classLoader = TestDataSource.class.getClassLoader();
InputStream is = classLoader.getResourceAsStream("druid.properties");
// 1.2 使用properties对象加载流
properties.load(is);
// 2. 使用创建DruidDataSourceFactory创建Druid的连接池对象
DataSource dataSource = DruidDataSourceFactory.createDataSource(properties);
// 3. 从连接池中取出一个连接使用
Connection connection1 = dataSource.getConnection();
Connection connection2 = dataSource.getConnection();
Connection connection3 = dataSource.getConnection();
Connection connection4 = dataSource.getConnection();
Connection connection5 = dataSource.getConnection();
Connection connection6 = dataSource.getConnection();
Connection connection7 = dataSource.getConnection();
Connection connection8 = dataSource.getConnection();
Connection connection9 = dataSource.getConnection();
// 归还一个连接:没有使用连接池的时候connection.cloase()就是销毁连接;如果是从连接池中取出的connection对象,它调用close()方法就是将连接归还回连接池
// 底层原理是动态代理
connection1.close();
Connection connection10 = dataSource.getConnection();
Connection connection11 = dataSource.getConnection();
}
1.5.4 Druid连接池的配置参数
配置 | 说明 |
---|---|
name | 配置这个属性的意义在于,如果存在多个数据源,监控的时候可以通过名字来区分开来。 如果没有配置,将会生成一个名字,格式是:”DataSource-” + System.identityHashCode(this) |
url | 连接数据库的url,不同数据库不一样。例如:mysql : jdbc:mysql://10.20.153.104:3306/druid2 oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto |
username | 连接数据库的用户名 |
password | 连接数据库的密码。如果你不希望密码直接写在配置文件中,可以使用ConfigFilter。 |
driverClassName | 根据url自动识别 这一项可配可不配,如果不配置druid会根据url自动识别dbType,然后选择相应的driverClassName(建议配置下) |
initialSize | 初始化时建立物理连接的个数。初始化发生在显示调用init方法,或者第一次getConnection时 |
maxActive | 最大连接池数量 |
minIdle | 最小连接池数量 |
maxWait | 获取连接时最大等待时间,单位毫秒。配置了maxWait之后,缺省启用公平锁,并发效率会有所下降,如果需要可以通过配置useUnfairLock属性为true使用非公平锁。 |
poolPreparedStatements | 是否缓存preparedStatement,也就是PSCache。PSCache对支持游标的数据库性能提升巨大,比如说oracle。在mysql下建议关闭。 |
maxOpenPreparedStatements | 要启用PSCache,必须配置大于0,当大于0时,poolPreparedStatements自动触发修改为true。在Druid中,不会存在Oracle下PSCache占用内存过多的问题,可以把这个数值配置大一些,比如说100 |
validationQuery | 用来检测连接是否有效的sql,要求是一个查询语句。如果validationQuery为null,testOnBorrow、testOnReturn、testWhileIdle都不会其作用。 |
testOnBorrow | 申请连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能。 |
testOnReturn | 归还连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能 |
testWhileIdle | 建议配置为true,不影响性能,并且保证安全性。申请连接的时候检测,如果空闲时间大于timeBetweenEvictionRunsMillis,执行validationQuery检测连接是否有效。 |
timeBetweenEvictionRunsMillis | 有两个含义: 1)Destroy线程会检测连接的间隔时间2)testWhileIdle的判断依据,详细看testWhileIdle属性的说明 |
connectionInitSqls | 物理连接初始化的时候执行的sql |
exceptionSorter | 根据dbType自动识别 当数据库抛出一些不可恢复的异常时,抛弃连接 |
filters | 属性类型是字符串,通过别名的方式配置扩展插件,常用的插件有: 监控统计用的filter:stat日志用的filter:log4j防御sql注入的filter:wall |
proxyFilters | 类型是List,如果同时配置了filters和proxyFilters,是组合关系,并非替换关系 |
1.5.5 封装JDBCTools
/**
* 这个工具类会提供三个方法:
* 1. 获取连接池对象
* 2. 从连接池中获取连接
* 3. 将连接归还到连接池
*/
public class JDBCTools {
public static DataSource dataSource;
static {
try {
// 1.使用类加载器读取配置文件,转成字节输入流
InputStream is = JDBCTools.class.getClassLoader().getResourceAsStream("druid.properties");
// 2. 使用Properties对象加载字节输入流
Properties properties = new Properties();
properties.load(is);
// 3. DruidDataSourceFactory创建连接池对象
dataSource = DruidDataSourceFactory.createDataSource(properties);
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 获取连接池对象
* @return
*/
public static DataSource getDataSource(){
return dataSource;
}
/**
* 获取连接
* @return
*/
public static Connection getConnection(){
try {
return dataSource.getConnection();
} catch (SQLException e) {
e.printStackTrace();
// 运行时发生异常再抛出一场
throw new RuntimeException(e.getMessage());
}
}
/**
* 将连接归还连接池
* @param connection
* @throws SQLException
*/
public static void releaseConnection(Connection connection) {
try {
connection.close();
} catch (SQLException e) {
e.printStackTrace();
throw new RuntimeException(e.getMessage());
}
}
}
二、Apache的DBUtils
2.1 DBUtils的概述
commons-dbutils是Apache组织提供的一个开源JDBC工具类库,它是对JDBC的简单封装,学习成本极低,并且使用dbutils能极大简化JDBC编码的工作量,同时也不会影响程序的性能。
其中QueryRunner类封装了SQL的执行,是线程安全的。
- 可以实现增删改查、批处理
- 考虑了事务处理需要共用Connection
- 该类最主要的就是简单化了SQL查询,它与ResultSetHandler组合在一起使用可以完成大部分的数据库操作,能够大大减少编码量。
2.2 DBUtils执行增删改的SQL语句
public static void testInsert() throws SQLException {
// 第一种:需要在执行sql语句的时候手动传入连接对象
// // 往user表中添加一行数据
// // 1. 创建QueryRunner对象
// QueryRunner queryRunner = new QueryRunner();
// // 2. 调用queryRunner对象的方法执行sql语句,如果是执行增删改的SQL语句则调用update方法
// String sql = "insert into user(username,password,nickname) values (?,?,?)";
// queryRunner.update(JDBCTools.getConnection(),sql,"黄忠","111111","千钧一发");
//第二种:直接将连接池对象交给QueryRunner
QueryRunner queryRunner = new QueryRunner(JDBCTools.getDataSource());
String sql = "insert into user(username,password,nickname) values (?,?,?)";
queryRunner.update(sql,"赵云","123456","七进七出");
}
public static void testDelete() throws SQLException {
// 1. 创建QueryRunner对象
QueryRunner queryRunner = new QueryRunner(JDBCTools.getDataSource());
String sql = "delete from user where id=?";
queryRunner.update(sql,2000);
}
public static void testUpdate() throws SQLException {
// 将id为5的用户昵称改为张飞
QueryRunner queryRunner = new QueryRunner(JDBCTools.getDataSource());
String sql = "update user set nickname=? where id=? ";
queryRunner.update(sql,"张飞",6);
}
2.3 DBUtils执行批处理
public static void testBatchAdd() throws SQLException {
// 测试批量添加
QueryRunner queryRunner = new QueryRunner(JDBCTools.getDataSource());
// 编写SQL语句
String sql = "insert into user (username,password,nickname) values (?,?,?)";
// 创建一个二维数组,用于存储批量参数,二维数组的第一维表示批量操作多少条数据,第二维表示每条数据要设置多少个参数
Object[][] params = new Object[1000][3];
// 循环设置批量添加的数据
for (int i = 0; i < 1000; i++) {
params[i][0] = "关羽"+i;
params[i][1]="444444"+i;
params[i][2] = "武圣"+i;
}
// 执行批量处理
queryRunner.batch(sql,params);
}
2.4 使用QueryRunner类实现查询
2.4.1 Handler类型介绍
Handler类型 | 说明 |
---|---|
ArrayHandler | 将结果集中的第一条记录封装到一个Object[]数组中,数组中的每一个元素就是这条记录中的每一个字段的值 |
ArrayListHandler | 将结果集中的每一条记录都封装到一个Object[]数组中,将这些数组在封装到List集合中。 |
BeanHandler | 将结果集中第一条记录封装到一个指定的javaBean中。 |
BeanListHandler | 将结果集中每一条记录封装到指定的javaBean中,将这些javaBean在封装到List集合中 |
ColumnListHandler | 将结果集中指定的列的字段值,封装到一个List集合中 |
KeyedHandler | 将结果集中每一条记录封装到Map |
MapHandler | 将结果集中第一条记录封装到了Map |
MapListHandler | 将结果集中每一条记录封装到了Map |
ScalarHandler | 它是用于单个数据。例如select count(*) from 表。 |
2.4.2 代码示例
public static void testFindById() throws SQLException {
// 使用DBUtils执行查询一行数据
// 查询一行数据转换成User对象
QueryRunner queryRunner = new QueryRunner(JDBCTools.getDataSource());
// 编写SQL语句
String sql = "select * from user where id=?";
// queryRunner执行查询的SQL语句,使用query()方法
User user = queryRunner.query(sql, new BeanHandler<>(User.class), 1);
System.out.println(user);
}
public static void testFindMore() throws SQLException {
// 查询多条数据转换成User对象
QueryRunner queryRunner = new QueryRunner(JDBCTools.getDataSource());
// 编写SQL语句
String sql = "select * from user where id";
List userList = queryRunner.query(sql, new BeanListHandler<>(User.class), 10);
for (int i = 0; i < userList.size(); i++) {
System.out.println(userList.get(i));
}
}
public static void testFindCount() throws SQLException {
// 目标:查询总用户数
QueryRunner queryRunner = new QueryRunner(JDBCTools.getDataSource());
String sql = "select count(id) from user";
// ScalarHandler是处理单个数据的结果集
Long count = queryRunner.query(sql, new ScalarHandler<>());
System.out.println(count);
}
三、jar包版本不兼容问题
- 使用最新的MySQL驱动jar包
- 把驱动的类名改为:com.mysql.cj.jdbc.Driver
- 在访问mysql的url后加入时区设置:jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=UTF8&serverTimezone=UTC