MyBatis 流式查询

概念

** 流式查询 ** 指的是查询成功后不是返回一个集合而是返回一个迭代器， 应用每次从迭代器取一条查询结果。 流式查询的好处是能够降低内存使用。

如果不采用流式查询， 想要从数据库取 1000 万条记录而又没有足够的内存时， 就不得不分页查询， 而分页查询效率取决于表设计， 如果设计的不好， 就无法执行高效的分页查询。 因此流式查询是一个数据库访问框架必须具备的功能。

接口

流式查询的过程当中， 数据库连接是保持打开状态的， 因此要注意的是： 执行一个流式查询后， 数据库访问框架就不负责关闭数据库连接了， 需要应用在取完数据后自己关闭。# 流式查询接口
MyBatis 提供了一个叫 org.apache.ibatis.cursor.Cursor 的接口类用于流式查询

package org.apache.ibatis.cursor;

import java.io.Closeable;

/**
 * Cursor contract to handle fetching items lazily using an Iterator.
 * Cursors are a perfect fit to handle millions of items queries that would not normally fits in memory.
 * If you use collections in resultMaps then cursor SQL queries must be ordered (resultOrdered="true")
 * using the id columns of the resultMap.
 *
 * @author Guillaume Darmont / [email protected]
 */
public interface Cursor<T> extends Closeable, Iterable<T> {

  /**
   * @return true if the cursor has started to fetch items from database.
   */
  boolean isOpen();

  /**
   *
   * @return true if the cursor is fully consumed and has returned all elements matching the query.
   */
  boolean isConsumed();

  /**
   * Get the current item index. The first item has the index 0.
   *
   * @return -1 if the first cursor item has not been retrieved. The index of the current item retrieved.
   */
  int getCurrentIndex();
}

Cursor继承了 java.io.Closeable 和 java.lang.Iterable 接口， 由此可知： -
Cursor 是可关闭的； -
Cursor 是可遍历的。

Cursor 还提供了三个方法：

• isOpen()： 用于在取数据之前判断 Cursor 对象是否是打开状态。 只有当打开时 Cursor 才能取数据；

• isConsumed()： 用于判断查询结果是否全部取完。

• getCurrentIndex()： 返回已经获取了多少条数据

因为 Cursor 实现了迭代器接口， 因此在实际使用当中， 从 Cursor 取数据非常简单：

cursor.forEach(row -> {...});

构建Cursor例子
GoodMapper

@Select("select * from good limit #{index},#{limit}")
Cursor<Good> scan(@Param("index") int index,@Param("limit") int limit);

再写一个 Controller 方法来调用 Mapper（ 无关的代码已经省略）：

@GetMapping("/scan/0/{limit}")
public void scanGood0(@PathVariable("limit") int limit) throws Exception {
    try (Cursor<Good> cursor = fooMapper.scan(limit)) { // 1
        cursor.forEach(System.out::println); // 2
    }
}

上面的代码看上去没什么问题， 但是执行时会报错：

java.lang.IllegalStateException: A Cursor is already closed.

这是因为在取数据的过程中需要保持数据库连接， 而 Mapper 方法通常在执行完后连接就关闭了， 因此 Cusor 也一并关闭了。 解决这个只需要保持连接， 至少有三种方案可选

方案一： SqlSessionFactory

@Autowired
private SqlSessionFactory sqlSessionFactory;

@GetMapping("/scan/1/{limit}")
public void scanGood1(@PathVariable("limit") int limit) throws Exception {
    try (
        SqlSession sqlSession = sqlSessionFactory.openSession(); // 1
        Cursor<Good> cursor = 
              sqlSession.getMapper(GoodMapper.class).scan(limit) // 2
    ) {
        cursor.forEach(System.out::println);
    }
}

用 SqlSessionFactory 来手工打开数据库连接, 保证得到的 Cursor 对象是打开状态的。

方案二： TransactionTemplate

@Autowired
private PlatformTransactionManager transactionManager;

@GetMapping("/scan/2/{limit}")
public void scanGood2(@PathVariable("limit") int limit) throws Exception {
    TransactionTemplate transactionTemplate = 
            new TransactionTemplate(transactionManager); // 1

    transactionTemplate.execute(status -> { // 2
        try (Cursor<Good> cursor = goodMapper.scan(limit)) {
            cursor.forEach(System.out::println);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    });
}

用 TransactionTemplate 来执行一个数据库事务， 这个过程中数据库连接同样是打开的

方案三： @Transactional 注解

@GetMapping("/scan/3/{limit}")
@Transactional
public void scanGood3(@PathVariable("limit") int limit) throws Exception {
    try (Cursor<Good> cursor = goodMapper.scan(limit)) {
        cursor.forEach(System.out::println);
    }
}

在原来方法上面加了个 @Transactional 注解。 这个方案看上去最简洁， ** 但请注意 Spring 框架当中注解使用的坑 ** ：只在外部调用时生效。 在当前类中调用这个方法， 依旧会报错。