mybatis两种批量插入方式效率对比

1.java代码批量

public void batchInsert(final String statementName, final List list)  throws DataAccessException{

        SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
        
        int size = 10000;
        try{
            if(null != list || list.size() > 0){
                for (int i = 0, n = list.size(); i < n; i++) {
                    this.insert(statementName, list.get(i));
                    if (i % 1000 == 0 || i == size - 1) {
                        //手动每1000个一提交，提交后无法回滚
                        session.commit();
                        //清理缓存，防止溢出
                        session.clearCache();
                    }
                }
            }
        }catch (Exception e){
            session.rollback();
            if (log4j.isDebugEnabled()) {
                e.printStackTrace();
                log4j.debug("batchInsert error: id [" + statementName + "], parameterObject [" + list + "].  Cause: " + e.getMessage());
            }
        } finally {
            session.close();
        }
    }

2.xml方式

        insert into table
        (
            business_id,
            element_id,
            business_value
        )
            values
        
            (#{item.business_id, jdbcType=VARCHAR},
            #{item.element_id, jdbcType=VARCHAR},
            #{item.business_value, jdbcType=VARCHAR})
        
    

使用Junit进行测试

@TransactionConfiguration(transactionManager = "transactionManager", defaultRollback = true)
public class WarrantTest extends BaseJunitTest {

    @Resource
    private IDynamicFormService dynamicFormService;

    @Test
    @Rollback
    @Transactional
    public void savetest() {

        long total = 0;

        for(int count=0; count<10; count++) {
            long start = System.currentTimeMillis();
            List> list = new ArrayList<>();
            for(int i=0; i<30; i++) {
                Map map = new HashMap<>();
                map.put("key", i);
                map.put("value", i);
                list.add(map);
            }
            dynamicFormService.saveDynamicValue("1", list);
            long end = System.currentTimeMillis();

            total += (end - start);

            System.out.println("耗时:"+ (end - start));
        }

        System.out.println("平均耗时:"+(total/10));
    }
}

方式1：平均耗时:1930
方式2：平均耗时:135
xml方式效率提升明显！

原因分析：

执行效率高的主要原因是合并后日志量（MySQL的binlog和innodb的事务让日志）减少了，降低日志刷盘的数据量和频率，从而提高效率。通过合并SQL语句，同时也能减少SQL语句解析的次数，减少网络传输的IO。

注意事项：

• SQL语句是有长度限制，在进行数据合并在同一SQL中务必不能超过SQL长度限制，通过max_allowed_packet配置可以修改，默认是1M，测试时修改为8M。
• 事务需要控制大小，事务太大可能会影响执行的效率。MySQL有innodb_log_buffer_size配置项，超过这个值会把innodb的数据刷到磁盘中，这时，效率会有所下降。所以比较好的做法是，在数据达到这个这个值前进行事务提交。