mybatis快速更新大量数据

场景:工作中需要通过另一个表算出某字段的和,再更新其关联表的某个字段。数量量约700万,验收环境,2G内存。

方案一(不建议使用):通过分页查询(也可以org.apache.ibatis.session.ResultHandler的流操作平滑的通过流一条条查出数据,挺快的),再通过外键查到相关的数据在内存分组求和,更新列表的字段值,然后用java8流操作foreach挨个update(实体),耗时约6个小时。(其实际等价于一条一条的执行写好的sql执行,期间还有线程切换,IO等待,本需求一轮更新需要访问pageNum+2次数据库等)

方案二(推荐):同样通过分页查询,再通过外键查到相关的数据在内存分组求和,更新列表的字段值,然后选择一次性传到mybatis中,利用foreach批量更新。(其实际等价于如我们写好了1000条sql到命令台直接enter确认执行,本需求一轮更新只需要访问3次数据库)耗时只需要20分钟

所以:更快的更新的方案是:在理解业务背景下,尽量分批取出数据(需考虑内存是否溢出,选择合适的单批处理数),若有计算尽量查出来在内存执行,最后选择扔给mybatis,foreach批量更新/新建,相当于批量构建sql。

这里举一个mybatis的批量更新(新建同理)如下:


数据库连接必须配置:&allowMultiQueries=true

/**
 * 批量更新
 * @param list list
 */
void initUpdateBatch(@Param("list") List list);


    
        update student_table set points= #{item.points}
        where id = #{item.id}
    

你可能感兴趣的:(Mybatis)