SQLite使用事务大幅提高批量数据写入数据库的速度

工具

  • 读取Excel:NPOI

结果

先直接放出对比吧,数据量,3500多条。

不使用事务 使用事务
18655ms 55ms

问题

在目前的项目中,经常需要把外部的数据导入导出到数据库中。但是外部数据导入到数据库中,耗费的时间太长,让人用着特别不爽。测试的数据量为3500条,整个导入到数据库耗时18955ms,差不多就是19秒了,而且数据量并不算大。

后来,经过分析,发现在整个导入数据的过程中,绝大部分的耗时都用在了数据插入到数据的过程中。整个过程一共耗时18955ms,而读取Excel的耗时只有300ms,那么,问题基本就发现了,就是数据导入到数据库的过程中太慢了。

原因

经过我在网上搜索,发现出问题的原因就是:读入一条数据然后就往数据库里面插入一条数据。数据库方面的开销太大了。最好在网上找到了办法,使用事物10000条数据在插入一次,10000条插入是为了防止导入数据量过大,爆内存。

结果

改用事务之后,整个过程耗时只有355ms了,其中读取excel耗时300ms左右,也就是说,插入数据库的过程从18600ms降到了55ms,耗时是没有改用事务之前的的千分之三。其实,可以发现,比较耗时的过程又发生在了读取Excel的过程中了。
SQLite Helper (C#)

private void btCommit_Click(object sender, EventArgs e)
{
    using (SQLiteConnection conn = new SQLiteConnection(config.DataSource))
    {
        using (SQLiteCommand cmd = new SQLiteCommand())
        {
            conn.Open();
            cmd.Connection = conn;

            SQLiteHelper sh = new SQLiteHelper(cmd);

            int count = sh.ExecuteScalar("select count(*) from product;") + 1;

            sh.BeginTransaction();

            for (int i = 0; i < 5; i++)
            {
                var dic = new Dictionary();
                dic["name"] = "Product " + (count + i);
                dic["description"] = "Some description";
                dic["status"] = "Active";

                sh.Insert("product", dic);
            }

            sh.Commit();

            LoadData(sh);

            conn.Close();
        }
    }
}

不知道是否还可以继续优化

除了插入,其实也可以使用事务进行更新。

你可能感兴趣的:(其他)