mybatis 批量插入数据以及性能

在有批量插入数据库的需求时，比如插入50条数据，传统的做法是利用for循环50次，每条数据挨个插入。此种方式存在严重效率问题，需要频繁获取Session，获取连接。

MyBatis支持了批量插入的配置和语法。如下：

 

 
        BEGIN
        
            INSERT INTO T_OPT_HANDOVERBILL_DETAIL (ID, HANDOVER_NO, WAYBILL_NO, TRANSPORT_TYPE, HANDOVER_GOODS_QTY,
            HANDOVER_WEIGHT, ACTUAL_WEIGHT,HANDOVER_VOLUME, ACTUAL_VOLUME, NOTES, GOODS_NAME, PACKING, BE_VALUABLE, RECEIVE_ORG_NAME,
            REACH_ORG_NAME,RECEIVER_NAME, DEST_REGION_NAME, GOODS_QTY, WAYBILL_FEE, DECLARATION_VALUE, CURRENCY_CODE, CREATE_TIME,
            ORIG_ORG_CODE, HANDOVER_TYPE, COD_AMOUNT, BE_JOIN_CAR, BE_FAST_GOODS, IS_INIT, WAYBILL_NOTES,TRANSPORT_TYPE_CODE,
            MODIFY_TIME)
         VALUES
             (#{item.id,jdbcType=VARCHAR}, #{item.handoverNO,jdbcType=VARCHAR}, #{item.waybillNO,jdbcType=VARCHAR},
            #{item.transportType,jdbcType=VARCHAR}, #{item.handoverGoodsQty,jdbcType=NUMERIC}, #{item.handoverWeight,jdbcType=NUMERIC},
            #{item.actualWeight,jdbcType=NUMERIC}, #{item.handoverVolume,jdbcType=NUMERIC}, #{item.actualVolume,jdbcType=NUMERIC},
            #{item.notes,jdbcType=VARCHAR}, #{item.goodsName,jdbcType=VARCHAR}, #{item.packing,jdbcType=VARCHAR},
            #{item.beValuable,jdbcType=VARCHAR}, #{item.receiveOrgName,jdbcType=VARCHAR}, #{item.reachOrgName,jdbcType=VARCHAR},
            #{item.receiverName,jdbcType=VARCHAR}, #{item.destRegionName,jdbcType=VARCHAR}, #{item.goodsQty,jdbcType=VARCHAR},
            #{item.waybillFee,jdbcType=NUMERIC}, #{item.declarationValue,jdbcType=NUMERIC}, #{item.currencyCode,jdbcType=VARCHAR},
            #{item.createTime,jdbcType=DATE}, #{item.origOrgCode,jdbcType=VARCHAR}, #{item.handoverType,jdbcType=VARCHAR},
            #{item.codAmount,jdbcType=NUMERIC}, #{item.beJoinCar,jdbcType=VARCHAR}, #{item.beFastGoods,jdbcType=VARCHAR},
            #{item.isInit,jdbcType=VARCHAR}, #{item.waybillNotes,jdbcType=VARCHAR}, #{item.transportTypeCode,jdbcType=VARCHAR},
            #{item.modifyTime,jdbcType=DATE})
        
        ;END;

 

 

1. public void insertByBatch(List list) {

2. long start = System.currentTimeMillis();

3. getSqlSession().insert(NAME_SPACE + ".insertByBatch", list);

4. long end = System.currentTimeMillis();

5. System.out.println("批量插入耗时:" + (end - start) + "ms");

6. }

1. public void insertByBatch(List list) {

2. long start = System.currentTimeMillis();

3. getSqlSession().insert(NAME_SPACE + ".insertByBatch", list);

4. long end = System.currentTimeMillis();

5. System.out.println("批量插入耗时:" + (end - start) + "ms");

6. }

Java代码中getSqlSession是通过Spring获得。直接调用Spring的insert方法，将要插入表的对象list作为参数传递。NAME_SPACE值为mybatis配置文件中namespace的值。利用MyBatis的foreach标签，传递List对象。执行即可达到插入的效果。
此处在foreach之前和之后，用了begin和end，测试用的是Oracle，以这种方式批量插入速度回更快。

性能问题：

（1）Mybatis变量绑定不当引发的性能隐患

   在value值中，我们用到了mybatis的变量绑定。用的是#{}方式，还有一种方式${}。
默认情况下,使用#{}语法，MyBatis会用PreparedStatement语句当做占位符，并且安全的设置PreparedStatement参数，可以避免SQL注入漏洞和钓鱼漏洞，这个过程中MyBatis会进行必要的安全检查和转义。

示例1：用#{}
执行SQL：Select * from emp where name = #{employeeName}
参数：employeeName=>Smith
解析后执行的SQL：Select * from emp where name = ？

示例2：用${}
执行SQL：Select * from emp where name = ${employeeName}
参数：employeeName传入值为：Smith
解析后执行的SQL：Select * from emp where name =Smith

可以看出，${}方式影响SQL语句的预编译，Oracle编译器解析时会进行硬解析，会造成很多临时游标变量的绑定，导致数据库性能下降。所以从安全性和性能的角度出发，能使用#{}的情况下就不要使用${}

（2）一次批量插入过多造成的性能隐患

   虽然mybatis和oracle能支持批量插入，但也并不意味着不限插入语句的数量。经过实际的测试和性能验证，一次批量插入的数据条数很大时，oracle将不支持语句执行，可能直接报错：程序太大。而且一次插入数据量大，执行完成的耗费时间将以指数级增长。
如下为我在自身机器上做的简单测试：

2万条数据：

每次插入100条数    2.5秒

每次插入500条数据  7秒

全部插入    67秒

全部插入有可能 报badsql

结论：

a、在批量插入数据量过大时，sql总长度会超出允许的字符导致执行失败。

b、线性增加批量插入的数据条数，执行时间并非呈线性增长，而是3倍的比例增长。在此做一个大胆的推理，数量如果很大，时间将以指数级增长。

针对此种问题，最简单的解决方案是，将一批数据分多批插入，例如一批数据有220条，每次批量插入100条，则分三次执行全部插入。所耗费的时间要比一次执行的时间要短。