MyBatis批量大数据测试的一些结果

MyBatis批量大数据测试的一些结果

博客分类：

 
• ibatis

ibatis 

MyBatis的前身就是著名的Ibatis，不知何故脱离了Apache改名为MyBatis。
MyBatis所说是轻量级的ORM框架，在网上看过一个测试报告，感觉相比于Hibernate来说，优势并不明显。

下面说一下比较有趣的现象，根据MyBatis的官方文档，在获得sqlSession时，它有为批量更新而专门准备的：

session = sessionFactory.openSession();//用于普通update
session = sessionFactory.openSession(ExecutorType.BATCH, true);//用于批量update

 

 

 一般来说，对MYSQL数据库批量操作时速度取决于，是为每一个处理分别建立一个连接，还是为这一批处理一共建立一个连接。按MyBatis的手册说明，选择ExecutorType.BATCH意味着，获得的sqlSession会批量执行所有更新语句。不过我测试了一下，批量插入1000条数据，发觉ExecutorType.BATCH方式的效率居然比普通的方式 差很多 。我测试用的Mapper中的insert配置如下，再用for循环插入1000条记录：

<insert id="insert" parameterType="sdc.mybatis.test.Student">
     <!-- WARNING - @mbggenerated This element is automatically generated by
          MyBatis Generator, do not modify. This element was generated on Mon May 09
          11:09:37 CST 2011. -->
     insert into student (id, name, sex,
     address, telephone, t_id
     )
     values (#{id,jdbcType=INTEGER}, #{name,jdbcType=VARCHAR},
    #{sex,jdbcType=VARCHAR},
    #{address,jdbcType=VARCHAR}, #{telephone,jdbcType=VARCHAR}, #{tId,jdbcType=INTEGER}
    )
</insert>

 

 

1、 我不清楚原因在哪里， 就配置了MyBatis的log4j，想查看下日志。下载了log4j.jar和commons-logging.jar并配置到项目的类路径，然后在代码路径下新建文件log4j.properties，内容如下：

log4j.rootLogger=DEBUG, stdout
# SqlMap logging configuration...
log4j.logger.com.ibatis=DEBUG
log4j.logger.com.ibatis.common.jdbc.SimpleDataSource=DEBUG
log4j.logger.com.ibatis.sqlmap.engine.cache.CacheModel=DEBUG
log4j.logger.com.ibatis.sqlmap.engine.impl.SqlMapClientImpl=DEBUG
log4j.logger.com.ibatis.sqlmap.engine.builder.xml.SqlMapParser=DEBUG
log4j.logger.com.ibatis.common.util.StopWatch=DEBUG
log4j.logger.java.sql.Connection=DEBUG
log4j.logger.java.sql.Statement=DEBUG
log4j.logger.java.sql.PreparedStatement=DEBUG
log4j.logger.java.sql.ResultSet=DEBUG

# Console output...
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p [%t] - %m%n

 

2、然后再次测试普通的sqlSession，发现日志内容中虽然插入了1000条数据，但只新建了一次连接，最后又关闭了该连接(日志如下)。也就是说MyBatis中的普通sqlSession好像已经对批量插入默认是一次连接中完成，那么还提供ExecutorType.BATCH方式干什么，况且该方式好像效率也不行，或者是我使用ExecutorType.BATCH方式不对？？3、最后一点是关于数据库批量插入时sql语句级的优化，我特意测试了两种方式，在StudentMapper中配置了两种insert模式。第一种对应insert value1,insert value2,,,,；第二种对应insert values (value1, value2,....)。发现后者果然比前者快很多啊。下面是两种insert模式，及测试结果对应图：

DEBUG [main] - Created connection 3502256.
DEBUG [main] - ooo Connection Opened
DEBUG [main] - ==>  Executing: insert into student ( name, sex, address, telephone, t_id ) values ( ?, ?, ?, ?, ? )
DEBUG [main] - ==> Parameters: 新人0(String), male(String), addr0(String), dd(String), 3(Integer)
DEBUG [main] - ==>  Executing: insert into student ( name, sex, address, telephone, t_id ) values ( ?, ?, ?, ?, ? )
DEBUG [main] - ==> Parameters: 新人1(String), male(String),
...............
...............
DEBUG [main] - xxx Connection Closed
DEBUG [main] - Returned connection 3502256 to pool.

 3、最后一点是关于数据库批量插入时sql语句级的优化，我特意测试了两种方式，在StudentMapper中配置了两种insert模式。第一种对应insert value1,insert value2,,,,；第二种对应insert values (value1, value2,....)。发现后者果然比前者快很多啊。下面是两种insert模式，及测试结果对应图：

 

<!-- 在外部for循环调用一千次 -->
<insert id="insert" parameterType="sdc.mybatis.test.Student">
    insert into student (id, name, sex,
    address, telephone, t_id
    )
    values (#{id,jdbcType=INTEGER}, #{name,jdbcType=VARCHAR},
    #{sex,jdbcType=VARCHAR},
    #{address,jdbcType=VARCHAR}, #{telephone,jdbcType=VARCHAR}, #{tId,jdbcType=INTEGER}
    )
</insert>
<!--  批量 ，传入一个长度为1000的list  -->
<insert id="insertBatch" >
    insert into student ( <include refid="Base_Column_List" /> )
    values
    <foreach collection="list" item="item" index="index" separator=",">
        (null,#{item.name},#{item.sex},#{item.address},#{item.telephone},#{item.tId})
    </foreach>
</insert>

 

附录：

1. MyBatis配置文件的DTD文件(与Ibatis3不同)：http://mybatis.org/dtd/
2. MyBatis的中文手册：http://mybatis.googlecode.com/files/MyBatis%203%20User%20Guide%20Simplified%20Chinese.pdf

18 
顶

14 
踩

分享到：   

JavaCore/HeapDump文件及其分析方法 |  我的crm小结

• 2012-05-22 00:28
• 浏览 5298
• 评论(19)
• 分类:编程语言
• 相关推荐

评论

19 楼  乱_战 2012-05-24  

rensanning 写道

1、JDBC提供了数据库batch处理的能力，在数据大批量操作（新增、删除等）的情况下可以大幅度提升系统的性能。

// 关闭自动执行
con.setAutoCommit(false);
PreparedStatement stmt = con.prepareStatement("INSERT INTO employees VALUES (?, ?)");

for ( int i = 0; i < 10000; i++) {
    stmt.setInt(1, i+1);
    stmt.setString(2, "NAME "+(i+1));
    stmt.addBatch();
}

// 提交要执行的批处理
int[] updateCounts = stmt.executeBatch();

2、iBatis框架对batch处理的支持：

client.startBatch();

for(int i = 0; i < 10000; i++) {
    client.delete("delete from order where id=?",i);
}

client.executeBatch();

3、Mybatis框架对batch处理的支持：

SqlSession session = sqlSessionFactory().openSession(ExecutorType.BATCH, false);

for(int i = 0; i < 10000; i++) {
    session.delete("delete from order where id=?",i);
}

session.commit();

session.close();

4、多行插入是数据库级别的，需要数据库的支持，跟框架，JDBC无关。
INSERT INTO <TABLE> subquery.
INSERT INTO <TABLE> VALUES (......),(......),(......)

****多行插入肯定是性能是最好的，他完全交给了DBMS来处理，但是类似于回滚，提交等业务处理你就没法控制了。
****由于框架的重写，Mybatis的性能比iBatis或者JDBC差很多
****任何ORM框架都要经由JDBC，所以从性能上来说: 纯SQL > JDBC > ORM框架

这里有MyBatis的发展经历http://www.mybatis.org/about.html，可以看出应该是作者和Apache基金会有分歧（Apache基金会对于代码，文档都要求很严），2004到2010的6年间，数据库有了很大的变化，但是iBatis版本一致没有大的改动。

不错

18 楼  king114963349 2012-05-24  

这个结果真是出人意料，版本升级了，但是效率却下来了  ，只得用jdbc了！

17 楼  lykm02 2012-05-24  

mysqldump  -uxxx -pxxxx userdatabase > custom.sql

大概是这么个样子，未测试。

qcyycom 写道

lykm02 写道

显然 insert into ... values (),(),() 快很多。
batch insert  比这个慢是再正常不过了。
你可以随便 dump 一个 database 出来，看看database生成的sql是怎么写的。
我想瞬间，你就了解了。

如何 dump 一个 database 出来 ？

16 楼  lykm02 2012-05-24  

是的。他是非常快。
数据太多也会报错。
这个很正常。
大概是mysql 会根据他自己的cache size 来进行切分。
但是如果 values 后面值太多，他的cache 放不下，自然要报错的。

即便是mysql 自己的dump，如果你的数据量够大，你会发现，一张表他是会dump成若干条
insert into ... values() **

既然mysql 自己的dump工具都会做这件事，那肯定说明数据太多是要出错的。关键是这个阈值是多少，估计这个和每台server的设置有关。
所以肯定不能数据太多。

shenliuyang 写道

  你用得那种values 是不行的，  数据太多就会报错， 我一开始也是这样用，发现速度非常快，  但后来深受其苦。  mysql 都报错了。

15 楼  mixer_a 2012-05-23  

 

14 楼  shenliuyang 2012-05-23  

  你用得那种values 是不行的，  数据太多就会报错， 我一开始也是这样用，发现速度非常快，  但后来深受其苦。  mysql 都报错了。

13 楼  lyunabc 2012-05-23  

hualee 写道

qcyycom 写道

lykm02 写道

显然 insert into ... values (),(),() 快很多。
batch insert  比这个慢是再正常不过了。
你可以随便 dump 一个 database 出来，看看database生成的sql是怎么写的。
我想瞬间，你就了解了。

如何 dump 一个 database 出来 ？

应该在数据库服务器上打开statement的日志，你就明白了

我也想知道

12 楼  hualee 2012-05-23  

qcyycom 写道

lykm02 写道

显然 insert into ... values (),(),() 快很多。
batch insert  比这个慢是再正常不过了。
你可以随便 dump 一个 database 出来，看看database生成的sql是怎么写的。
我想瞬间，你就了解了。

如何 dump 一个 database 出来 ？

应该在数据库服务器上打开statement的日志，你就明白了

11 楼  wangranfeng 2012-05-23  

初学MyBatis一直在找批量插入的例子，可以把Base_Column_List的代码段发一下吗？
谢谢

10 楼  季铵盐 2012-05-23  

既然上了框架，对于大型的项目稳定是最重要的，要快的话 jdbc本身的addbatch（）就够快 

9 楼  zljpp 2012-05-22  

vb2005xu 写道

用这破玩意 还不如 使用dbutils爽呢

hehe ,莫激动

8 楼  qcyycom 2012-05-22  

rensanning 写道

1、JDBC提供了数据库batch处理的能力，在数据大批量操作（新增、删除等）的情况下可以大幅度提升系统的性能。

// 关闭自动执行
con.setAutoCommit(false);
PreparedStatement stmt = con.prepareStatement("INSERT INTO employees VALUES (?, ?)");

for ( int i = 0; i < 10000; i++) {
    stmt.setInt(1, i+1);
    stmt.setString(2, "NAME "+(i+1));
    stmt.addBatch();
}

// 提交要执行的批处理
int[] updateCounts = stmt.executeBatch();

2、iBatis框架对batch处理的支持：

client.startBatch();

for(int i = 0; i < 10000; i++) {
    client.delete("delete from order where id=?",i);
}

client.executeBatch();

3、Mybatis框架对batch处理的支持：

SqlSession session = sqlSessionFactory().openSession(ExecutorType.BATCH, false);

for(int i = 0; i < 10000; i++) {
    session.delete("delete from order where id=?",i);
}

session.commit();

session.close();

4、多行插入是数据库级别的，需要数据库的支持，跟框架，JDBC无关。
INSERT INTO <TABLE> subquery.
INSERT INTO <TABLE> VALUES (......),(......),(......)

****多行插入肯定是性能是最好的，他完全交给了DBMS来处理，但是类似于回滚，提交等业务处理你就没法控制了。
****由于框架的重写，Mybatis的性能比iBatis或者JDBC差很多
****任何ORM框架都要经由JDBC，所以从性能上来说: 纯SQL > JDBC > ORM框架

这里有MyBatis的发展经历http://www.mybatis.org/about.html，可以看出应该是作者和Apache基金会有分歧（Apache基金会对于代码，文档都要求很严），2004到2010的6年间，数据库有了很大的变化，但是iBatis版本一致没有大的改动。

+

7 楼  com_xpp 2012-05-22  

vb2005xu 写道

用这破玩意 还不如 使用dbutils爽呢

这玩意还是不错的

6 楼  vb2005xu 2012-05-22  

用这破玩意 还不如 使用dbutils爽呢

5 楼  rensanning 2012-05-22  

1、JDBC提供了数据库batch处理的能力，在数据大批量操作（新增、删除等）的情况下可以大幅度提升系统的性能。

// 关闭自动执行
con.setAutoCommit(false);
PreparedStatement stmt = con.prepareStatement("INSERT INTO employees VALUES (?, ?)");

for ( int i = 0; i < 10000; i++) {
    stmt.setInt(1, i+1);
    stmt.setString(2, "NAME "+(i+1));
    stmt.addBatch();
}

// 提交要执行的批处理
int[] updateCounts = stmt.executeBatch();

2、iBatis框架对batch处理的支持：

client.startBatch();

for(int i = 0; i < 10000; i++) {
    client.delete("delete from order where id=?",i);
}

client.executeBatch();

3、Mybatis框架对batch处理的支持：

SqlSession session = sqlSessionFactory().openSession(ExecutorType.BATCH, false);

for(int i = 0; i < 10000; i++) {
    session.delete("delete from order where id=?",i);
}

session.commit();

session.close();

4、多行插入是数据库级别的，需要数据库的支持，跟框架，JDBC无关。
INSERT INTO <TABLE> subquery.
INSERT INTO <TABLE> VALUES (......),(......),(......)

****多行插入肯定是性能是最好的，他完全交给了DBMS来处理，但是类似于回滚，提交等业务处理你就没法控制了。
****由于框架的重写，Mybatis的性能比iBatis或者JDBC差很多
****任何ORM框架都要经由JDBC，所以从性能上来说: 纯SQL > JDBC > ORM框架

这里有MyBatis的发展经历http://www.mybatis.org/about.html，可以看出应该是作者和Apache基金会有分歧（Apache基金会对于代码，文档都要求很严），2004到2010的6年间，数据库有了很大的变化，但是iBatis版本一致没有大的改动。

4 楼  dyllove98 2012-05-22  

 测试的准确吗？

3 楼  a897301704 2012-05-22  

     

2 楼  qcyycom 2012-05-22  

lykm02 写道

显然 insert into ... values (),(),() 快很多。
batch insert  比这个慢是再正常不过了。
你可以随便 dump 一个 database 出来，看看database生成的sql是怎么写的。
我想瞬间，你就了解了。

如何 dump 一个 database 出来 ？

1 楼  lykm02 2012-05-22  

显然 insert into ... values (),(),() 快很多。
batch insert  比这个慢是再正常不过了。
你可以随便 dump 一个 database 出来，看看database生成的sql是怎么写的。
我想瞬间，你就了解了。