mysql的jdbc中fetchsize支持的问题

1. MySQL的JDBC OutOfMemoryError: Java heap space异常

        MySql数据库通过JDBC对大表进行查询时抛出java.lang.OutOfMemoryError: Java heap space异常。这是因为默认情况下，MySQL的JDBC驱动会一下子把所有row都读取下来，这在一般情况下是最优的，因为可以减少Client-Server的通信开销。但是这样也有一个问题，当数据库查询结果很大时，特别当不能全部放进内存时，就会产生性能问题。

本来，JDBC api里在Connection、Statement和ResultSet上都有设置fetchSize的方法，但是MySQL的JDBC驱动都不支持，无论你怎么设fetchSize，ResultSet都会一次性从Server读取数据。在MySQL的官方论坛上也有多个这样的问题，总结一下解决办法如下：

1.MySQL版本在5.0以上，MySQL的JDBC驱动更新到最新版本(至少5.0以上)
2.Statement一定是TYPE_FORWARD_ONLY的，并发级别是CONCUR_READ_ONLY(即创建Statement的默认参数)
3.以下两句语句选一即可：
    1).statement.setFetchSize(Integer.MIN_VALUE);
    2).((com.mysql.jdbc.Statement)stat).enableStreamingResults();

这样会一行一行地从Server读取数据，因此通信开销很大，但内存问题可以解决。官方的说法是不支持fetchSize不是MySQL的JDBC驱动的问题，而是MySQL本身就不支持。而商用数据库Oracle或DB2都是支持fetchSize的，从这里也可以看出两者的考量不同。

考虑到应用程序利用JDBC跨数据库的特性可以,通过判断mySql连接特殊处理:

                if(conn.getClass().getName().indexOf("mysql")>0){

                 //com.mysql.jdbc.Driver
                  stmt.setFetchSize(Integer.MIN_VALUE); 
                }

2. 新版mysql的解决方案

mysql jdbc驱动设置fetchsize 要连接字串里有useCursorFetch=true 才行

jdbc:mysql://127.0.0.1/：3306/test?useCursorFetch=true mysql版本，即驱动版本都在5 以上，就可以使用setFetchSize方法了。测试过了，debug过了.如果无此参数，则只有setFetchSize(Integer.MIN_VALUE);  才有效果，但就是每次rs.next() 取一条了。oracle 一般默认设置10条。

this.statement = connection.prepareStatement(parsedQuery,ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_UPDATABLE);
this.statement.setFetchSize(10);

另外， 在同时出现  useCursorFetch=true 和 ((com.mysql.jdbc.Statement)stat).enableStreamingResults()设置的时候， useCursorFetch有更大的优先级， 这个时候， mysql 的jdbc驱动会使用 RowDataCursor。

具体可以参考： http://boylook.blog.51cto.com/7934327/1308511/

MySQL JDBC的源码:
1.首先判断是否可以进行cursor read
if (this.connection.versionMeetsMinimum(5, 0, 2) && this.connection.getUseCursorFetch() && isBinaryEncoded && callingStatement != null && callingStatement.getFetchSize() != 0 && callingStatement.getResultSetType() == ResultSet.TYPE_FORWARD_ONLY)若OK，则RowData rows = new RowDataCursor
2.如果不满足，则判断是否可以进行Streaming Read：
If(this.resultSetType== java.sql.ResultSet.TYPE_FORWARD_ONLY)
   && (this.resultSetConcurrency == java.sql.ResultSet.CONCUR_READ_ONLY) && (this.fetchSize == Integer.MIN_VALUE)如果不满足则rowData = readSingleRowSet
3.否则rowData = new RowDataDynamic

关于RowDataCursor和RowDataDynamic的区别， 可以看转载的另一篇文章：  Stream ResultSet实现原理与应用实践

3.  Kettle 的 “Use Result Streaming Cursor” 选项

ETL 工具Kettle中， 使用mysql连接的时候， 有一个 “Use Result Streaming Cursor”的选项， 相当于 ((com.mysql.jdbc.Statement)stat).enableStreamingResults()， 这样的话， 每次只取一条数据， 效率很低。

不过， Kettle在配置mysql连接的时候， 高级选项里面将useCursorFetch=true和fetchsize设置了, 按照优先级的关系，会优先使用RowDataCursor。