批量数据插入 (.Net, ODBC)

    我们有时候需要向数据库大量插入数据，这种情况下效率成了个关键问题。如果是数据进行转移，我们可以使用SqlBulkCopy类，还有一个很傻的办法就是将insert语句拼装一下，比如将100个sql语句连起来构成一个sql，然后执行。前面一种办法只适合转移数据，如果直接插入就不行了，后面那个办法有的数据库不支持。

    其实在.Net里我们可以用DataAdapter解决这个问题，不过方法比较土鳖。大体思路是用一个条件恒定不满足的select语句先获取表结构，Fill一个空的DataTable。然后用CommandBuilder构建增删改语句，最后批量的先将数据插入到这个DataTable里面，然后用DataAdapter的Update方法更新。这样会快很多。

    下面的例子向TimesTen数据库插入了100000条数据，使用了.Net的ODBC接口，在我电脑上(intel i3 530, 4G)的运行时间是59.7秒。当然，代码比较糙，还有待优化。

 

1
2 using (OdbcConnection con = new OdbcConnection( " Dsn=TimesTenClient " ))
3 {
4 OdbcCommand command = new OdbcCommand( " SELECT * FROM PEOPLE WHERE 1=2 " ,con);
5 OdbcDataAdapter adapter = new OdbcDataAdapter(command);
6 OdbcCommandBuilder cmdBuilder = new OdbcCommandBuilder(adapter);
7 var dt = new DataTable();
8 adapter.Fill(dt);
9
10 int count = 0 ;
11 for ( int i = 0 ; i < 100000 ; i ++ )
12 {
13 if (count > 1000 )
14 {
15 adapter.Update(dt);
16
17 dt.Rows.Clear();
18 count = 0 ;
19 }
20 dt.Rows.Add(i, " alala " );
21 Show.Show(i.ToString());
22 Show.ShowLine();
23 ++ count;
24 }
25 }