mybatis使用流式查询避免一次性查询数据量过大导致OOM(内存溢出)

问题

开发中难免会遇到大批量数据的导出,比如几十万(几百万)条数据,而服务器的内存过小则会导致内存溢出

解决方案

使用mybatis的流式查询,步骤如下:
dao层接口:

@Mapper
public interface CustomerDao {
 		List<BpmsCustomerManageFormalEntity> selectAll();
        List<BpmsCustomerManageFormalEntity> selectFetchSize2();
}

xml文件:


<select id="selectAll" resultType="com.ratel.streaming.entity.BpmsCustomerManageFormalEntity">
        SELECT * FROM bpms_customer_manage_formal
    select>
    
    
#这个是关键 其中fetchSize="-2147483648",Integer.MIN_VALUE=-2147483648
<select id="selectFetchSize2"  resultType="bpmsCustomerManageFormalEntity" fetchSize="-2147483648">
        SELECT * FROM bpms_customer_manage_formal
    select>

本次数据库准备的数据量是40万条左右

结果

使用java自带的java内存监控工具jvisualvm.exe查看内存使用:
由图可知:普通查询的峰值使用内存为1500M ,而流式查询大约为1000M左右,大大节省了内存!
mybatis使用流式查询避免一次性查询数据量过大导致OOM(内存溢出)_第1张图片

参考链接:

Mysql中使用流式查询避免数据量过大导致OOM
MySQL中流式查询使用
MyBatis中使用流式查询避免数据量过大导致OOM
Mybatis 3.4.0 Cursor的使用
正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space
MyBatis中使用流式查询避免数据量过大导致OOM
关于oracle与mysql官方jdbc的一些区别

你可能感兴趣的:(mybatis)