7 9 9

数据库连接池

文章目录

1.MySQL BLOB 类型
- 四种BLOB类型
2. 数据的批量插入
3.数据库连接池
- 1.JDBC数据库连接池的必要性
- 2.数据库连接池技术
- - 工作原理与数据库连接池的参数
  - 数据库连接池技术的优点：
- 3.多种开源数据库连接池
- - 1.C3P0数据库连接池
  - 2.DBCP数据库连接池
  - 3.Druid（德鲁伊）数据库连接池

所有池基本思想都差不多，这个我一会儿再来进行描述，我先提一个类型 BOLB，这个数据类型可以用来存储图像、音频、视频、文档等任意二进制数据

1.MySQL BLOB 类型

MySQL中，BLOB是一个二进制大型对象，是一个可以存储大量数据的容器，它能容纳不同大小的数据。
插入BLOB类型的数据必须使用PreparedStatement，因为BLOB类型的数据无法使用字符串拼接写的。
MySQL的四种BLOB类型(除了在存储的最大信息量上不同外，他们是等同的)

四种BLOB类型

实际使用中根据需要存入的数据大小定义不同的BLOB类型。
需要注意的是：如果存储的文件过大，数据库的性能会下降。
如果在指定了相关的Blob类型以后，还报错：xxx too large，那么在mysql的安装目录下，找my.ini文件加上如下的配置参数： max_allowed_packet=16M。同时注意：修改了my.ini文件之后，需要重新启动mysql服务。

1.在创建表时，可以使用下列语法指定BLOB列的类型：

CREATE TABLE table_name (
   column_name BLOB
);

2.如果要指定特定长度的BLOB类型，可以使用以下语法：

CREATE TABLE table_name (
   column_name BLOB(length)
);

结合IO流对数据库中的blob类型进行操作的案例

public class BlobDemo1 {

    BaseDao dao = new BaseDao();

    /**
     * 添加文件
     *
     */
    @Test
    public void test1() {
        String sql = "insert into customers(name,email,birth, photo) values(?,?,?,?)";

        Connection conn = null;
        PreparedStatement ps = null;
        ResultSet rs = null;
        FileInputStream in = null;
        try {
            conn = JdbcUtil.getConnection();
            ps = conn.prepareStatement(sql);
            ps.setString(1,"mickey");
            ps.setString(2,"[email protected]");
            ps.setDate(3,new Date(new java.util.Date().getTime()));

            in = new FileInputStream("a.jpg");

            ps.setBlob(4, in);

            ps.executeUpdate(); //执行修改,返回语句影响的行数

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            JdbcUtil.closeResource(conn, ps, rs);
            try {
                in.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }

    }

    /**
     * 查询文件
     */
    @Test
    public void test2() {
        String sql = "select id, name, photo from customers where id = ?";
        Connection conn = null;
        PreparedStatement ps = null;
        ResultSet rs = null;

        InputStream in = null;
        FileOutputStream out = null;

        try {
            conn = JdbcUtil.getConnection();
            ps = conn.prepareStatement(sql);
            ps.setInt(1, 20);

            rs = ps.executeQuery();

            if (rs.next()) {
                System.out.println(rs.getInt("id"));
                System.out.println(rs.getString(2));

                //读取blob
                Blob blob = rs.getBlob(3);
                in = blob.getBinaryStream();

                out = new FileOutputStream("a1.jpg");

                int length = -1;
                byte[] buffer = new byte[1024];
                while ((length = in.read(buffer)) != -1) {
                    out.write(buffer, 0, length);
                }

            }

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            JdbcUtil.closeResource(conn, ps, rs);

            try {
                in.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
            try {
                out.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }


    }


    /**
     * 修改BLOB
     *
     */
    @Test
    public void test3() {
        String sql = "update customers set photo = ? where id=?";

        Connection conn = null;
        PreparedStatement ps = null;
        ResultSet rs = null;
        FileInputStream in = null;
        try {
            conn = JdbcUtil.getConnection();
            ps = conn.prepareStatement(sql);
            ps.setInt(2, 20);

            in = new FileInputStream("b.jpg");

            ps.setBlob(1, in);

            ps.executeUpdate(); //执行修改,返回语句影响的行数

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            JdbcUtil.closeResource(conn, ps, rs);
            try {
                in.close();
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }

    }



}

这里 JdbcUtil是我自己写的工具类有需要可以看上一个博客。

2. 数据的批量插入

当需要成批插入或者更新记录时，可以采用Java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独提交处理更有效率
JDBC的批量处理语句包括下面三个方法：

addBatch(String)：添加需要批量处理的SQL语句或是参数；
executeBatch()：执行批量处理语句；
clearBatch():清空缓存的数据
通常我们会遇到两种批量执行SQL语句的情况：
多条SQL语句的批量处理；
一个SQL语句的批量传参；

public class BatchDemo1 {

    @Test
    public void test1() throws Exception {
        long start = System.currentTimeMillis();

        Connection conn = JdbcUtil.getConnection();
        conn.setAutoCommit(false);//取消事务的自动提交，在后面需要用conn.commit()来手动提交

        String sql = "insert into goods(name) values(?)";
        PreparedStatement ps = conn.prepareStatement(sql);
        for(int i = 1; i <= 200000; i++){
            ps.setString(1, "name_" + i);
            ps.executeUpdate();
        }

        conn.commit();

        long end = System.currentTimeMillis();
        System.out.println("花费的时间为：" + (end - start));//182340


        JdbcUtil.closeResource(conn, ps, null);
    }

    @Test
    public void test2() throws Exception {
        long start = System.currentTimeMillis();

        Connection conn = JdbcUtil.getConnection();
        conn.setAutoCommit(false);

        String sql = "insert into goods(name) values(?)";
        PreparedStatement ps = conn.prepareStatement(sql);
        for(int i = 1; i <= 200000; i++){
            ps.setString(1, "name_" + i);
//            ps.executeUpdate();
            ps.addBatch(); //添加语句到Batch,攒sql语句

            if (i % 100000 == 0) {
                ps.executeBatch(); //每500个语句，批量执行一次
                ps.clearBatch(); //清空批量
            }
        }
        conn.commit();

        long end = System.currentTimeMillis();
        System.out.println("花费的时间为：" + (end - start));//82340


        JdbcUtil.closeResource(conn, ps, null);
    }

}

当不使用 addBatch(String) 方法时，每个 SQL 语句都会单独发送给数据库并执行。这意味着每次执行 SQL 语句都需要与数据库建立连接、发送请求、等待响应，并且涉及往返的网络通信。如果有大量的 SQL 语句需要执行，这将导致大量的网络开销和延迟。

相反，当你使用 addBatch(String) 方法时，你可以将多个 SQL 语句一起添加到批处理中。然后，通过执行批处理，所有的 SQL 语句都会一次性发送给数据库执行，减少了网络开销和延迟。这样可以显著提高性能，尤其是在需要执行大量 SQL 语句时。

虽然使用 addBatch(String) 方法可以提高性能，但也需要注意以下几点：

1.所有的 SQL 语句在逻辑上应该是相互独立的，互不影响的。否则，如果其中一个 SQL 语句失败，整个批处理将会回滚。
2.如果批处理中的 SQL 语句过多，超出了数据库的处理能力范围，也可能导致性能下降。
3.需要根据具体场景和应用需求进行性能测试和优化，以确定最佳的批处理大小和方式。

总之，使用 addBatch(String) 方法可以通过批处理方式一次性执行多个 SQL 语句，从而减少了与数据库的交互次数，提高了性能。但需要根据实际情况进行合理的优化和测试，以获得最佳性能。

3.数据库连接池

1.JDBC数据库连接池的必要性

在使用开发基于数据库的web程序时，传统的模式基本是按以下步骤：
- 在主程序（如servlet、beans）中建立数据库连接
- 进行sql操作
- 断开数据库连接
这种模式开发，存在的问题:
- 普通的JDBC数据库连接使用 DriverManager 来获取，每次向数据库建立连接的时候都要将 Connection 加载到内存中，再验证用户名和密码(得花费0.05s～1s的时间)。需要数据库连接的时候，就向数据库要求一个，执行完成后再断开连接。这样的方式将会消耗大量的资源和时间。**数据库的连接资源并没有得到很好的重复利用。**若同时有几百人甚至几千人在线，频繁的进行数据库连接操作将占用很多的系统资源，严重的甚至会造成服务器的崩溃。
- 对于每一次数据库连接，使用完后都得断开。否则，如果程序出现异常而未能关闭，将会导致数据库系统中的内存泄漏，最终将导致重启数据库。（回忆：何为Java的内存泄漏？）
- 这种开发不能控制被创建的连接对象数，系统资源会被毫无顾及的分配出去，如连接过多，也可能导致内存泄漏，服务器崩溃。

2.数据库连接池技术

数据库连接池的基本思想：就是为数据库连接建立一个“缓冲池”。预先在缓冲池中放入一定数量的连接，当需要建立数据库连接时，只需从“缓冲池”中取出一个，使用完毕之后再放回去。
数据库连接池在初始化时将创建一定数量的数据库连接放到连接池中，这些数据库连接的数量是由最小数据库连接数来设定的。无论这些数据库连接是否被使用，连接池都将一直保证至少拥有这么多的连接数量。连接池的最大数据库连接数量限定了这个连接池能占有的最大连接数，当应用程序向连接池请求的连接数超过最大连接数量时，这些请求将被加入到等待队列中

工作原理与数据库连接池的参数

1.初始连接数（Initial Pool Size）：连接池在初始化时创建的初始连接数。

2.最小空闲连接数（Min Idle Connections）：连接池中保持的最小空闲连接数。当连接池中的连接数低于此值时，连接池会创建新的连接以满足最小空闲连接数的要求。

3.最大连接数（Max Pool Size）：连接池允许存在的最大连接数。当连接池中的连接已达到最大连接数时，后续的连接请求可能需要等待或被拒绝。

4.连接超时时间（Connection Timeout）：获取连接的最大等待时间，超过该时间仍未获取到可用连接，则会抛出超时异常。

5.连接最大存活时间（Max Connection Lifetime）：连接在连接池中的最大存活时间。当连接存活时间超过该阈值时，连接将会被关闭并从连接池中移除。

6.连接回收策略（Connection Reclaim Policy）：确定何时对连接进行检查、验证和回收的策略。可以根据连接的空闲时间、使用次数等因素来触发回收操作。

7.验证查询（Validation Query）：用于验证连接是否有效的 SQL 查询语句。连接池会定期执行该查询来检测连接是否可用。

8.连接验证超时时间（Validation Timeout）：连接验证查询的超时时间，如果查询在该时间内未完成，则将认为连接无效。

9.连接重建策略（Connection Rebuild Policy）：在连接池中出现故障的连接时，决定是否关闭该连接并重新创建新的连接。