mysql的jdbc中fetchsize支持的问题

1. MySQL的JDBC OutOfMemoryError: Java heap space异常

        MySql数据库通过JDBC对大表进行查询时抛出java.lang.OutOfMemoryError: Java heap space异常。这是因为默认情况下,MySQL的JDBC驱动会一下子把所有row都读取下来,这在一般情况下是最优的,因为可以减少Client-Server的通信开销。但是这样也有一个问题,当数据库查询结果很大时,特别当不能全部放进内存时,就会产生性能问题。

本来,JDBC api里在Connection、Statement和ResultSet上都有设置fetchSize的方法,但是MySQL的JDBC驱动都不支持,无论你怎么设fetchSize,ResultSet都会一次性从Server读取数据。在MySQL的官方论坛上也有多个这样的问题,总结一下解决办法如下:

1.MySQL版本在5.0以上,MySQL的JDBC驱动更新到最新版本(至少5.0以上)
2.Statement一定是TYPE_FORWARD_ONLY的,并发级别是CONCUR_READ_ONLY(即创建Statement的默认参数)
3.以下两句语句选一即可:
    1).statement.setFetchSize(Integer.MIN_VALUE);
    2).((com.mysql.jdbc.Statement)stat).enableStreamingResults();

这样会一行一行地从Server读取数据,因此通信开销很大,但内存问题可以解决。官方的说法是不支持fetchSize不是MySQL的JDBC驱动的问题,而是MySQL本身就不支持。而商用数据库Oracle或DB2都是支持fetchSize的,从这里也可以看出两者的考量不同。

考虑到应用程序利用JDBC跨数据库的特性可以,通过判断mySql连接特殊处理:

                if(conn.getClass().getName().indexOf("mysql")>0){

                 //com.mysql.jdbc.Driver
                  stmt.setFetchSize(Integer.MIN_VALUE); 
                }

2. 新版mysql的解决方案:mysql jdbc驱动设置fetchsize 要连接字串里有useCursorFetch=true 才行

jdbc:mysql://127.0.0.1/:3306/test?useCursorFetch=true mysql版本,即驱动版本都在5 以上,就可以使用setFetchSize方法了。测试过了,debug过了.如果无此参数,则只有setFetchSize(Integer.MIN_VALUE);  才有效果,但就是每次rs.next() 取一条了。oracle 一般默认设置10条。

this.statement = connection.prepareStatement(parsedQuery,ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_UPDATABLE);
this.statement.setFetchSize(10);

另外, 在同时出现  useCursorFetch=true 和 ((com.mysql.jdbc.Statement)stat).enableStreamingResults()设置的时候, useCursorFetch有更大的优先级, 这个时候, mysql 的jdbc驱动会使用 RowDataCursor。
具体可以参考: http://boylook.blog.51cto.com/7934327/1308511/
MySQL JDBC的源码:
//1.首先判断是否可以进行cursor read
if (this.connection.versionMeetsMinimum(5, 0, 2) && this.connection.getUseCursorFetch() && isBinaryEncoded && callingStatement != null && callingStatement.getFetchSize() != 0 && callingStatement.getResultSetType() == ResultSet.TYPE_FORWARD_ONLY)若OK,则RowData rows = new RowDataCursor
//2.如果不满足,则判断是否可以进行Streaming Read:
If(this.resultSetType== java.sql.ResultSet.TYPE_FORWARD_ONLY)
   && (this.resultSetConcurrency == java.sql.ResultSet.CONCUR_READ_ONLY) && (this.fetchSize == Integer.MIN_VALUE)如果不满足则rowData = readSingleRowSet
//3.否则rowData = new RowDataDynamic

关于RowDataCursor和RowDataDynamic的区别, 可以看转载的另一篇文章: Stream
ResultSet实现原理与应用实践

3.  Kettle 的 “Use Result Streaming Cursor” 选项

ETL 工具Kettle中, 使用mysql连接的时候, 有一个 “Use Result Streaming Cursor”的选项, 相当于 ((com.mysql.jdbc.Statement)stat).enableStreamingResults(), 这样的话, 每次只取一条数据, 效率很低。

不过, Kettle在配置mysql连接的时候, 高级选项里面将useCursorFetch=true和fetchsize设置了, 按照优先级的关系,会优先使用RowDataCursor。

你可能感兴趣的:(Java,mysql,sql,jdbc)