SQLite使用事务大幅提高批量数据写入数据库的速度

工具

• 读取Excel：NPOI

结果

先直接放出对比吧，数据量，3500多条。

不使用事务	使用事务
18655ms	55ms

问题

在目前的项目中，经常需要把外部的数据导入导出到数据库中。但是外部数据导入到数据库中，耗费的时间太长，让人用着特别不爽。测试的数据量为3500条，整个导入到数据库耗时18955ms，差不多就是19秒了，而且数据量并不算大。

后来，经过分析，发现在整个导入数据的过程中，绝大部分的耗时都用在了数据插入到数据的过程中。整个过程一共耗时18955ms，而读取Excel的耗时只有300ms，那么，问题基本就发现了，就是数据导入到数据库的过程中太慢了。

原因

经过我在网上搜索，发现出问题的原因就是：读入一条数据然后就往数据库里面插入一条数据。数据库方面的开销太大了。最好在网上找到了办法，使用事物10000条数据在插入一次，10000条插入是为了防止导入数据量过大，爆内存。

结果

改用事务之后，整个过程耗时只有355ms了，其中读取excel耗时300ms左右，也就是说，插入数据库的过程从18600ms降到了55ms，耗时是没有改用事务之前的的千分之三。其实，可以发现，比较耗时的过程又发生在了读取Excel的过程中了。
SQLite Helper (C#)

private void btCommit_Click(object sender, EventArgs e)
{
    using (SQLiteConnection conn = new SQLiteConnection(config.DataSource))
    {
        using (SQLiteCommand cmd = new SQLiteCommand())
        {
            conn.Open();
            cmd.Connection = conn;

            SQLiteHelper sh = new SQLiteHelper(cmd);

            int count = sh.ExecuteScalar("select count(*) from product;") + 1;

            sh.BeginTransaction();

            for (int i = 0; i < 5; i++)
            {
                var dic = new Dictionary();
                dic["name"] = "Product " + (count + i);
                dic["description"] = "Some description";
                dic["status"] = "Active";

                sh.Insert("product", dic);
            }

            sh.Commit();

            LoadData(sh);

            conn.Close();
        }
    }
}

不知道是否还可以继续优化

除了插入，其实也可以使用事务进行更新。