Android 数据库批量插入最佳实践,吐血推荐

背景

当需要往数据库中插入一条数据,那大家肯定没问题。但需要插入大量数据时,怎么办? for循环一条一条插入是可以,但是性能却一言难尽。结合前辈们的经验和自己的实践对比了几种插入方式的性能。

插入的几种方式

  • 直接for循环单条插入
  • 开启事务后在for循环单条插入
  • 在方式二的基础上优化ContentValues values = new ContentValues();创建次数
  • 直接一句sql语句搞定,终极大法好

具体代码

前三种比较简单,直接贴代码。 我这里数据库用的是上一篇采坑文章的demo。链接:Android sqlite 跨版本升级时复现报错 duplicate column

  1. 直接for循环单条插入
 private void insertOne(SQLiteDatabase db) {

        try {
            for (int i = 0; i < Num; i++) {
                ContentValues values = new ContentValues();
                values.put("name", "name: " + i);
                values.put("phone", "139-: " + i);
                db.insert("student", null, values);
            }
        } finally {
            try {
                if (null != db) {
                    db.endTransaction();
                    db.close();
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }


    }

  1. 开启事务后在for循环单条插入

    private void insertTwo(SQLiteDatabase db) {
        db.beginTransaction();
        try {

            for (int i = 0; i < Num; i++) {
                ContentValues values = new ContentValues();
                values.put("name", "name: " + i);
                values.put("phone", "139-: " + i);
                db.insert("student", null, values);

            }
            db.setTransactionSuccessful();
        } finally {
            try {
                if (null != db) {
                    db.endTransaction();
                    db.close();
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
  1. 在方式二的基础上优化ContentValues values = new ContentValues();创建次数
 private void insertThree(SQLiteDatabase db) {
        db.beginTransaction();
        try {
            ContentValues values = new ContentValues();
            for (int i = 0; i < Num; i++) {
                values.put("name", "name: " + i);
                values.put("phone", "139-: " + i);
                db.insert("student", null, values);
                values.clear();
            }
            db.setTransactionSuccessful();
        } finally {
            try {
                if (null != db) {
                    db.endTransaction();
                    db.close();
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

  • 直接一句sql语句搞定
private void insertFour(SQLiteDatabase db) {

        List insertBeans = getInsertBeans();
        db.beginTransaction();
        try {
            for (InsertBean bean : insertBeans) {
                Log.d("dbTest:", "insert,sb.toString(): " + bean.sql);
                db.execSQL(bean.sql, bean.bindArgs);
            }

            db.setTransactionSuccessful();
        } catch (Exception e) {
            Log.d("dbTest:", "insert,exception: " + e.toString());

        } finally {

            try {
                if (null != db) {
                    db.endTransaction();
                    db.close();
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }

    }

getInsertBeans()代码 :

   private static int Num = 10000;
    private static int Num_interval = 400; //>=500会报错:
    private List getInsertBeans() {
        /// 这里进行分组的原因是 当同时插入>=500条数据时,sqlite会报错:too many SQL variables (code 1
        //   SQLITE_ERROR): , while compiling: insert or replace into student(
        int num = Num / Num_interval;
        int left = Num % Num_interval;
        List insertBeans = new ArrayList<>();
        for (int k = 0; k < num; k++) {
            StringBuilder sb = new StringBuilder("insert or replace into " + "student" + "("
                    + "name,"
                    + "phone) values");
            List objects = new ArrayList();
            ///400条数据为一组
            for (int i = 0; i < Num_interval; i++) {
                int index = k * Num_interval + i;
                if (i == Num_interval - 1) {
                    sb.append("(?,?)");
                } else {
                    sb.append("(?,?),");
                }
                objects.add("name: " + index);
                objects.add("139-: " + index);
            }
            insertBeans.add(new InsertBean(sb.toString(), objects.toArray()));

        }
        if (left > 0) {
            //追加不能平均分组的数据
            StringBuilder sb = new StringBuilder("insert or replace into " + "student" + "("
                    + "name,"
                    + "phone) values");
            List objects = new ArrayList();
            for (int j = 0; j < left; j++) {
                int index = j + num * Num_interval;
                if (j == left - 1) {
                    sb.append("(?,?)");
                } else {
                    sb.append("(?,?),");
                }
                objects.add("name: " + index);
                objects.add("139-: " + index);
            }
            insertBeans.add(new InsertBean(sb.toString(), objects.toArray()));

        }
        return insertBeans;
    }
 
 

原理在代码中写清楚了。这里提醒下,记得看数据分组的原因。

性能对比

同一台机型当插入10000条数据耗时:

  • 方式一 直接for循环单条插入 cost: 62254ms
  • 方式二,开启事务循环插入 cost: 18862ms
  • 方式三,开启事务,只用一个ContentValues cost: 16786ms
  • 方式四: 开启事务,分组然后用一句sql插入 cost: 1008ms

不比不知道啊, 相差了大约60倍,果断选择方式四,嘿嘿
image.png

最后提醒一句数据库I/O操作记得放到子线程去处理。

你可能感兴趣的:(Android 数据库批量插入最佳实践,吐血推荐)