SQLite在多线程环境下的应用

这几天研究了一下SQLite这个嵌入式数据库在多线程环境下的应用，感觉里面的学问还挺多，于是就在此分享一下。

AD： 2014WOT全球软件技术峰会北京站 课程视频发布

 

先说下初衷吧，实际上我经常看到有人抱怨SQLite不支持多线程。而在iOS开发时，为了不阻塞主线程，数据库访问必须移到子线程中。为了解决这个矛盾，很有必要对此一探究竟。

关于这个问题，最权威的解答当然是SQLite官网上的“Is SQLite threadsafe?”这个问答。

简单来说，从3.3.1版本开始，它就是线程安全的了。而iOS的SQLite版本没有低于这个版本的：

3.4.0 - iPhone OS 2.2.1

3.6.12 - iPhone OS 3.0 / 3.1

3.6.22 - iPhone OS 4.0

3.6.23.2 - iOS 4.1 / 4.2

3.7.2 - iOS 4.3

3.7.7 - iOS 5.0

当然，你也可以自己编译最新版本。只是我发现自己编译出来的3.7.8居然比iOS 4.3.3内置的3.7.2慢了一半，不知道苹果做了什么优化。发现是我编译成了debug版本，改成release后性能比内置版本高5%左右，不过构建出来的app会大420k左右。

不过这个线程安全仍然是有限制的，在这篇《Is SQLite thread-safe?》里有详细的解释。

另一篇重要的文档就是《SQLite And Multiple Threads》。它指出SQLite支持3种线程模式：

单线程：禁用所有的mutex锁，并发使用时会出错。当SQLite编译时加了SQLITE_THREADSAFE=0参数，或者在初始化SQLite前调用sqlite3_config(SQLITE_CONFIG_SINGLETHREAD)时启用。

多线程：只要一个数据库连接不被多个线程同时使用就是安全的。源码中是启用bCoreMutex，禁用bFullMutex。实际上就是禁用数据库连接和prepared statement(准备好的语句)上的锁，因此不能在多个线程中并发使用同一个数据库连接或prepared statement。当SQLite编译时加了SQLITE_THREADSAFE=2参数时默认启用。若SQLITE_THREADSAFE不为0，可以在初始化SQLite前，调用sqlite3_config(SQLITE_CONFIG_MULTITHREAD)启用;或者在创建数据库连接时，设置SQLITE_OPEN_NOMUTEX flag。

串行：启用所有的锁，包括bCoreMutex和bFullMutex。因为数据库连接和prepared statement都已加锁，所以多线程使用这些对象时没法并发，也就变成串行了。当SQLite编译时加了SQLITE_THREADSAFE=1参数时默认启用。若SQLITE_THREADSAFE不为0，可以在初始化SQLite前，调用sqlite3_config(SQLITE_CONFIG_SERIALIZED)启用;或者在创建数据库连接时，设置SQLITE_OPEN_FULLMUTEX flag。

而这里所说的初始化是指调用sqlite3_initialize()函数，这个函数在调用sqlite3_open()时会自动调用，且只有第一次调用是有效的。

另一个要说明的是prepared statement，它是由数据库连接(的pager)来管理的，使用它也可看成使用这个数据库连接。因此在多线程模式下，并发对同一个数据库连接调用sqlite3_prepare_v2()来创建prepared statement，或者对同一个数据库连接的任何prepared statement并发调用sqlite3_bind_*()和sqlite3_step()等函数都会出错(在iOS上，该线程会出现EXC_BAD_ACCESS而中止)。这种错误无关读写，就是只读也会出错。文档中给出的安全使用规则是：没有事务正在等待执行，所有prepared statement都被finalized。

顺带一提，调用sqlite3_threadsafe()可以获得编译期的SQLITE_THREADSAFE参数。标准发行版是1，也就是串行模式;而iOS上是2，也就是多线程模式;Python的sqlite3模块也默认使用串行模式，可以用sqlite3.threadsafety来配置。但是默认情况下，一个线程只能使用当前线程打开的数据库连接，除非在连接时设置了check_same_thread=False参数。

现在3种模式都有所了解了，清楚SQLite并不是对多线程无能为力后，接下来就了解下事务吧。

数据库只有在事务中才能被更改。所有更改数据库的命令(除SELECT以外的所有SQL命令)都会自动开启一个新事务，并且当最后一个查询完成时自动提交。

而BEGIN命令可以手动开始事务，并关闭自动提交。当下一条COMMIT命令执行时，自动提交再次打开，事务中所做的更改也被写入数据库。当COMMIT失败时，自动提交仍然关闭，以便让用户尝试再次提交。若执行的是ROLLBACK命令，则也打开自动提交，但不保存事务中的更改。关闭数据库或遇到错误时，也会自动回滚事务。

经常有人抱怨SQLite的插入太慢，实际上它可以做到每秒插入几万次，但是每秒只能提交几十次事务。因此在插入大批数据时，可以通过禁用自动提交来提速。

事务在改写数据库文件时，会先生成一个rollback journal(回滚日志)，记录初始状态(其实就是备份)，所有改动都是在数据库文件上进行的。当事务需要回滚时，可以将备份文件的内容还原到数据库文件;提交成功时，默认的delete模式下会直接删除这个日志。这个日志也可以帮助解决事务执行过程中断电，导致数据库文件损坏的问题。但如果操作系统或文件系统有bug，或是磁盘损坏，则仍有可能无法恢复。

而从3.7.0版本(对应iOS 4.3)开始，SQLite还提供了Write-Ahead Logging模式。与delete模式相比，WAL模式在大部分情况下更快，并发性更好，读和写之间互不阻塞;而其缺点对于iPhone这种嵌入式设备来说可以忽略，只需注意不要以只读方式打开WAL模式的数据库即可。

使用WAL模式时，改写操是附加(append)到WAL文件，而不改动数据库文件，因此数据库文件可以被同时读取。当执行checkpoint操作时，WAL文件的内容会被写回数据库文件。当WAL文件达到SQLITE_DEFAULT_WAL_AUTOCHECKPOINT(默认值是1000)页(默认大小是1KB)时，会自动使用当前COMMIT的线程来执行checkpoint操作。也可以关闭自动checkpoint，改为手动定期checkpoint。

为了避免读取的数据不一致，查询时也需要读取WAL文件，并记录一个结尾标记(end mark)。这样的代价就是读取会变得稍慢，但是写入会变快很多。要提高查询性能的话，可以减小WAL文件的大小，但写入性能也会降低。

需要注意的是，低版本的SQLite不能读取高版本的SQLite生成的WAL文件，但是数据库文件是通用的。这种情况在用户进行iOS降级时可能会出现，可以把模式改成delete，再改回WAL来修复。

要对一个数据库连接启用WAL模式，需要执行“PRAGMA journal_mode=WAL;”这条命令，它的默认值是“journal_mode=DELETE”。执行后会返回新的journal_mode字符串值，即成功时为"wal"，失败时为之前的模式(例如"delete")。一旦启用WAL模式后，数据库会保持这个模式，这样下次打开数据库时仍然是WAL模式。

要停止自动checkpoint，可以使用wal_autocheckpoint指令或sqlite3_wal_checkpoint()函数。手动执行checkpoint可以使用wal_checkpoint指令或sqlite3_wal_checkpoint()函数。

还有一个很重要的知识点需要强调：事务是和数据库连接相关的，每个数据库连接(使用pager来)维护自己的事务，且同时只能有一个事务(但是可以用SAVEPOINT来实现内嵌事务)。

也就是说，事务与线程无关，一个线程里可以同时用多个数据库连接来完成多个事务，而多个线程也可以同时(非并发)使用一个数据库连接来共同完成一个事务。

下面用Python来演示一下：

  1. # -*- coding: utf-8 -*- 
  2.  
  3. import sqlite3 
  4.  
  5. import threading 
  6.  
  7. def f(): 
  8.  
  9. con.rollback() 
  10.  
  11. con = sqlite3.connect('test.db', check_same_thread=False) # 允许在其他线程中使用这个连接 
  12.  
  13. cu = con.cursor() 
  14.  
  15. cu.execute('CREATE TABLE IF NOT EXISTS test (id INTEGER PRIMARY KEY)') 
  16.  
  17. print cu.execute('SELECT count(*) FROM test').fetchone()[0] # 0 
  18.  
  19. cu.execute('INSERT INTO test VALUES (NULL)') 
  20.  
  21. print cu.execute('SELECT count(*) FROM test').fetchone()[0] # 1 
  22.  
  23. thread = threading.Thread(target=f) 
  24.  
  25. thread.start() 
  26.  
  27. thread.join() 
  28.  
  29. print cu.execute('SELECT count(*) FROM test').fetchone()[0] # 0 
  30.  
  31. cu.close() 
  32.  
  33. con.close() 

在这个例子中，虽然是在子线程中执行rollback，但由于和主线程用的是同一个数据库连接，所以主线程所做的更改也被回滚了。

而如果是用不同的数据库连接，每个连接都不能读取其他连接中未提交的数据，除非使用read-uncommitted模式。

而要实现事务，就不得不用到锁。

一个SQLite数据库文件有5种锁的状态：

UNLOCKED：表示数据库此时并未被读写。

SHARED：表示数据库可以被读取。SHARED锁可以同时被多个线程拥有。一旦某个线程持有SHARED锁，就没有任何线程可以进行写操作。

RESERVED：表示准备写入数据库。RESERVED锁最多只能被一个线程拥有，此后它可以进入PENDING状态。

PENDING：表示即将写入数据库，正在等待其他读线程释放SHARED锁。一旦某个线程持有PENDING锁，其他线程就不能获取SHARED锁。这样一来，只要等所有读线程完成，释放SHARED锁后，它就可以进入EXCLUSIVE状态了。

EXCLUSIVE：表示它可以写入数据库了。进入这个状态后，其他任何线程都不能访问数据库文件。因此为了并发性，它的持有时间越短越好。

一个线程只有在拥有低级别的锁的时候，才能获取更高一级的锁。SQLite就是靠这5种类型的锁，巧妙地实现了读写线程的互斥。同时也可看出，写操作必须进入EXCLUSIVE状态，此时并发数被降到1，这也是SQLite被认为并发插入性能不好的原因。

另外，read-uncommitted和WAL模式会影响这个锁的机制。在这2种模式下，读线程不会被写线程阻塞，即使写线程持有PENDING或EXCLUSIVE锁。

提到锁就不得不说到死锁的问题，而SQLite也可能出现死锁。

下面举个例子：

连接1：BEGIN (UNLOCKED)

连接1：SELECT ... (SHARED)

连接1：INSERT ... (RESERVED)

连接2：BEGIN (UNLOCKED)

连接2：SELECT ... (SHARED)

连接1：COMMIT (PENDING，尝试获取EXCLUSIVE锁，但还有SHARED锁未释放，返回SQLITE_BUSY)

连接2：INSERT ... (尝试获取RESERVED锁，但已有PENDING锁未释放，返回SQLITE_BUSY)

现在2个连接都在等待对方释放锁，于是就死锁了。当然，实际情况并没那么糟糕，任何一方选择不继续等待，回滚事务就行了。

不过要更好地解决这个问题，就必须更深入地了解事务了。

实际上BEGIN语句可以有3种起始状态：

DEFERRED：默认值，开始事务时不获取任何锁。进行第一次读操作时获取SHARED锁，进行第一次写操作时获取RESERVED锁。

IMMEDIATE：开始事务时获取RESERVED锁。

EXCLUSIVE：开始事务时获取EXCLUSIVE锁。

现在考虑2个事务在开始时都使用IMMEDIATE方式：

连接1：BEGIN IMMEDIATE (RESERVED)

连接1：SELECT ... (RESERVED)

连接1：INSERT ... (RESERVED)

连接2：BEGIN IMMEDIATE (尝试获取RESERVED锁，但已有RESERVED锁未释放，因此事务开始失败，返回SQLITE_BUSY，等待用户重试)

连接1：COMMIT (EXCLUSIVE，写入完成后释放)

连接2：BEGIN IMMEDIATE (RESERVED)

连接2：SELECT ... (RESERVED)

连接2：INSERT ... (RESERVED)

连接2：COMMIT (EXCLUSIVE，写入完成后释放)

这样死锁就被避免了。

而EXCLUSIVE方式则更为严苛，即使其他连接以DEFERRED方式开启事务也不会死锁：

连接1：BEGIN EXCLUSIVE (EXCLUSIVE)

连接1：SELECT ... (EXCLUSIVE)

连接1：INSERT ... (EXCLUSIVE)

连接2：BEGIN (UNLOCKED)

连接2：SELECT ... (尝试获取SHARED锁，但已有EXCLUSIVE锁未释放，返回SQLITE_BUSY，等待用户重试)

连接1：COMMIT (EXCLUSIVE，写入完成后释放)

连接2：SELECT ... (SHARED)

连接2：INSERT ... (RESERVED)

连接2：COMMIT (EXCLUSIVE，写入完成后释放)

不过在并非很高的情况下，直接获取EXCLUSIVE锁的难度比较大;而且为了避免EXCLUSIVE状态长期阻塞其他请求，最好的方式还是让所有写事务都以IMMEDIATE方式开始。

顺带一提，要实现重试的话，可以使用sqlite3_busy_timeout()或sqlite3_busy_handler()函数。

由此可见，要想保证线程安全的话，可以有这4种方式：

SQLite使用单线程模式，用一个专门的线程访问数据库。

SQLite使用单线程模式，用一个线程队列来访问数据库，队列一次只允许一个线程执行，队列里的线程共用一个数据库连接。

SQLite使用多线程模式，每个线程创建自己的数据库连接。

SQLite使用串行模式，所有线程共用全局的数据库连接。

接下来就一一测试这几种方式在iPhone 4(iOS 4.3.3，SQLite 3.7.2)上的性能表现。

第一种方式太过麻烦，需要线程间通信，这里我就忽略了。

第二种方式可以用dispatch_queue_create()来创建一个serial queue，或者用一个maxConcurrentOperationCount为1的NSOperationQueue来实现。

这种方式的缺点就是事务必须在一个block或operation里完成，否则会乱序;而耗时较长的事务会阻塞队列。另外，没法利用多核CPU的优势。

先初始化数据库：

  1. #import 
  2.  
  3. static char dbPath[200]; 
  4.  
  5. static sqlite3 *database; 
  6.  
  7. static sqlite3 *openDb() { 
  8.  
  9. if (sqlite3_open(dbPath, &database) != SQLITE_OK) { 
  10.  
  11. sqlite3_close(database); 
  12.  
  13. NSLog(@"Failed to open database: %s", sqlite3_errmsg(database)); 
  14.  
  15. } 
  16.  
  17. return database; 
  18.  
  19. } 
  20.  
  21. - (void)viewDidLoad { 
  22.  
  23. [super viewDidLoad]; 
  24.  
  25. sqlite3_config(SQLITE_CONFIG_SINGLETHREAD); 
  26.  
  27. NSLog(@"%d", sqlite3_threadsafe()); 
  28.  
  29. NSLog(@"%s", sqlite3_libversion()); 
  30.  
  31. NSArray *paths = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES); 
  32.  
  33. NSString *documentsDirectory = [paths objectAtIndex:0]; 
  34.  
  35. strcpy(dbPath, [[documentsDirectory stringByAppendingPathComponent:@"data.sqlite3"] UTF8String]); 
  36.  
  37. database = openDb(); 
  38.  
  39. char *errorMsg; 
  40.  
  41. if (sqlite3_exec(database, "CREATE TABLE IF NOT EXISTS test (id INTEGER PRIMARY KEY AUTOINCREMENT, value INTEGER);", NULL, NULL, &errorMsg) != SQLITE_OK) { 
  42.  
  43. NSLog(@"Failed to create table: %s", errorMsg); 
  44.  
  45. } 
  46.  
  47. } 

再插入1000条测试数据：

  1. static void insertData() { 
  2.  
  3. char *errorMsg; 
  4.  
  5. if (sqlite3_exec(database, "BEGIN TRANSACTION", NULL, NULL, &errorMsg) != SQLITE_OK) { 
  6.  
  7. NSLog(@"Failed to begin transaction: %s", errorMsg); 
  8.  
  9. } 
  10.  
  11. static const char *insert = "INSERT INTO test VALUES (NULL, ?);"; 
  12.  
  13. sqlite3_stmt *stmt; 
  14.  
  15. if (sqlite3_prepare_v2(database, insert, -1, &stmt, NULL) == SQLITE_OK) { 
  16.  
  17. for (int i = 0; i < 1000; ++i) { 
  18.  
  19. sqlite3_bind_int(stmt, 1, arc4random()); 
  20.  
  21. if (sqlite3_step(stmt) != SQLITE_DONE) { 
  22.  
  23. --i; 
  24.  
  25. NSLog(@"Error inserting table: %s", sqlite3_errmsg(database)); 
  26.  
  27. } 
  28.  
  29. sqlite3_reset(stmt); 
  30.  
  31. } 
  32.  
  33. sqlite3_finalize(stmt); 
  34.  
  35. } 
  36.  
  37. if (sqlite3_exec(database, "COMMIT TRANSACTION", NULL, NULL, &errorMsg) != SQLITE_OK) { 
  38.  
  39. NSLog(@"Failed to commit transaction: %s", errorMsg); 
  40.  
  41. } 
  42.  
  43. static const char *query = "SELECT count(*) FROM test;"; 
  44.  
  45. if (sqlite3_prepare_v2(database, query, -1, &stmt, NULL) == SQLITE_OK) { 
  46.  
  47. if (sqlite3_step(stmt) == SQLITE_ROW) { 
  48.  
  49. NSLog(@"Table size: %d", sqlite3_column_int(stmt, 0)); 
  50.  
  51. } else { 
  52.  
  53. NSLog(@"Failed to read table: %s", sqlite3_errmsg(database)); 
  54.  
  55. } 
  56.  
  57. sqlite3_finalize(stmt); 
  58.  
  59. } 
  60.  
  61. } 

然后创建一个串行队列：

  1. static dispatch_queue_t queue; 
  2.  
  3. - (void)viewDidLoad { 
  4.  
  5. // ... 
  6.  
  7. queue = dispatch_queue_create("net.keakon.db", NULL); 
  8.  
  9. } 

再设置一个计数器，每秒执行一次：

  1. static int lastReadCount = 0; 
  2.  
  3. static int readCount = 0; 
  4.  
  5. static int lastWriteCount = 0; 
  6.  
  7. static int writeCount = 0; 
  8.  
  9. - (void)count { 
  10.  
  11. int lastRead = lastReadCount; 
  12.  
  13. int lastWrite = lastWriteCount; 
  14.  
  15. lastReadCount = readCount; 
  16.  
  17. lastWriteCount = writeCount; 
  18.  
  19. NSLog(@"%d, %d", lastReadCount - lastRead, lastWriteCount - lastWrite); 
  20.  
  21. } 
  22.  
  23. - (void)viewDidLoad { 
  24.  
  25. // ... 
  26.  
  27. [NSTimer scheduledTimerWithTimeInterval:1.0 target:self selector:@selector(count) userInfo:nil repeats:YES]; 
  28.  
  29. } 

这样就可以开始测试select和update了：

  1. static void readData() { 
  2.  
  3. static const char *query = "SELECT value FROM test WHERE value < ? ORDER BY value DESC LIMIT 1;"; 
  4.  
  5. void (^ __block readBlock)() = Block_copy(^{ 
  6.  
  7. sqlite3_stmt *stmt; 
  8.  
  9. if (sqlite3_prepare_v2(database, query, -1, &stmt, NULL) == SQLITE_OK) { 
  10.  
  11. sqlite3_bind_int(stmt, 1, arc4random()); 
  12.  
  13. int returnCode = sqlite3_step(stmt); 
  14.  
  15. if (returnCode == SQLITE_ROW || returnCode == SQLITE_DONE) { 
  16.  
  17. ++readCount; 
  18.  
  19. } 
  20.  
  21. sqlite3_finalize(stmt); 
  22.  
  23. } else { 
  24.  
  25. NSLog(@"Failed to prepare statement: %s", sqlite3_errmsg(database)); 
  26.  
  27. } 
  28.  
  29. dispatch_async(queue, readBlock); 
  30.  
  31. }); 
  32.  
  33. dispatch_async(queue, readBlock); 
  34.  
  35. } 
  36.  
  37. static void writeData() { 
  38.  
  39. static const char *update = "UPDATE test SET value = ? WHERE id = ?;"; 
  40.  
  41. void (^ __block writeBlock)() = Block_copy(^{ 
  42.  
  43. sqlite3_stmt *stmt; 
  44.  
  45. if (sqlite3_prepare_v2(database, update, -1, &stmt, NULL) == SQLITE_OK) { 
  46.  
  47. sqlite3_bind_int(stmt, 1, arc4random()); 
  48.  
  49. sqlite3_bind_int(stmt, 2, arc4random() % 1000 + 1); 
  50.  
  51. if (sqlite3_step(stmt) == SQLITE_DONE) { 
  52.  
  53. ++writeCount; 
  54.  
  55. } 
  56.  
  57. sqlite3_finalize(stmt); 
  58.  
  59. } else { 
  60.  
  61. NSLog(@"Failed to prepare statement: %s", sqlite3_errmsg(database)); 
  62.  
  63. } 
  64.  
  65. dispatch_async(queue, writeBlock); 
  66.  
  67. }); 
  68.  
  69. dispatch_async(queue, writeBlock); 
  70.  
  71. } 

这里是用dispatch_async()来异步地递归调用block。

因为block是在栈里生成的，异步执行时已经被销毁，所以需要copy到堆。因为需要一直执行，所以我就没release了。

此外，光copy的话还是无法正常执行，但是把block本身的存储类型设为__block后就正常了，原因我也不清楚。

测试结果为只读时平均每秒165次，只写时每秒68次，同时读写时每秒各47次。换成多线程或串行模式时，效率也差不多。

接着试试WAL模式：

  1. if (sqlite3_exec(database, "PRAGMA journal_mode=WAL;", NULL, NULL, &errorMsg) != SQLITE_OK) { 
  2.  
  3. NSLog(@"Failed to set WAL mode: %s", errorMsg); 
  4.  
  5. } 

sqlite3_wal_checkpoint(database, NULL); // 每次测试前先checkpoint，避免WAL文件过大而影响性能

测试结果为只读时平均每秒166次，只写时每秒244次，同时读写时每秒各97次。并发性增加了1倍有木有!更夸张的是写入比读取还快了。

在自编译的3.7.8版中，同时读写为每秒各102次，加上SQLITE_THREADSAFE=0参数后为每秒各104次，性能稍有提升。

第三种方式需要打开和关闭数据库连接，所以会额外消耗一些时间。此外还要维持各个连接间的互斥，事务也比较容易冲突，但能确保事务正确执行。

首先需要移除全局的database变量，并修改openDb()函数：

  1. static sqlite3 *openDb() { 
  2.  
  3. sqlite3 *database = NULL; 
  4.  
  5. if (sqlite3_open(dbPath, &database) != SQLITE_OK) { 
  6.  
  7. sqlite3_close(database); 
  8.  
  9. NSLog(@"Failed to open database: %s", sqlite3_errmsg(database)); 
  10.  
  11. } 
  12.  
  13. return database; 
  14.  
  15. } 

再配置成多线程模式：

  1. sqlite3_config(SQLITE_CONFIG_MULTITHREAD); 

队列改成可以乱序执行的：

  1. queue = dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0); 

然后是访问数据库：

  1. static void readData() { 
  2.  
  3. static const char *query = "SELECT value FROM test WHERE value < ? ORDER BY value DESC LIMIT 1;"; 
  4.  
  5. dispatch_async(queue, ^{ 
  6.  
  7. sqlite3 *database = openDb(); 
  8.  
  9. sqlite3_stmt *stmt; 
  10.  
  11. if (sqlite3_prepare_v2(database, query, -1, &stmt, NULL) == SQLITE_OK) { 
  12.  
  13. while (YES) { 
  14.  
  15. sqlite3_bind_int(stmt, 1, arc4random()); 
  16.  
  17. int returnCode = sqlite3_step(stmt); 
  18.  
  19. if (returnCode == SQLITE_ROW || returnCode == SQLITE_DONE) { 
  20.  
  21. ++readCount; 
  22.  
  23. } 
  24.  
  25. sqlite3_reset(stmt); 
  26.  
  27. } 
  28.  
  29. sqlite3_finalize(stmt); 
  30.  
  31. } else { 
  32.  
  33. NSLog(@"Failed to prepare statement: %s", sqlite3_errmsg(database)); 
  34.  
  35. } 
  36.  
  37. sqlite3_close(database); 
  38.  
  39. }); 
  40.  
  41. } 
  42.  
  43. static void writeData() { 
  44.  
  45. static const char *update = "UPDATE test SET value = ? WHERE id = ?;"; 
  46.  
  47. dispatch_async(queue, ^{ 
  48.  
  49. sqlite3 *database = openDb(); 
  50.  
  51. sqlite3_stmt *stmt; 
  52.  
  53. if (sqlite3_prepare_v2(database, update, -1, &stmt, nil) == SQLITE_OK) { 
  54.  
  55. while (YES) { 
  56.  
  57. sqlite3_bind_int(stmt, 1, arc4random()); 
  58.  
  59. sqlite3_bind_int(stmt, 2, arc4random() % 1000 + 1); 
  60.  
  61. if (sqlite3_step(stmt) == SQLITE_DONE) { 
  62.  
  63. ++writeCount; 
  64.  
  65. } 
  66.  
  67. sqlite3_reset(stmt); 
  68.  
  69. } 
  70.  
  71. sqlite3_finalize(stmt); 
  72.  
  73. } else { 
  74.  
  75. NSLog(@"Failed to prepare statement: %s", sqlite3_errmsg(database)); 
  76.  
  77. } 
  78.  
  79. sqlite3_close(database); 
  80.  
  81. }); 
  82.  
  83. } 

这里就无需递归调用了，直接在子线程中循环即可。

测试结果为只读时平均每秒164次，只写时每秒68次，同时读写时分别为每秒14和30次(波动很大)。此外，这种方式因为最初启动的几个线程持续访问数据库，后加入的线程会滞后几秒才启动，且很难打开数据库连接或创建prepare statement。调试时发现只会启用2个线程，但是随队列中block数目的增加，读性能增高，写性能降低。读写各3个block时分别为每秒35和14次。

WAL模式下甚至连初始时启动2个线程都会被lock，因此只能改成不断重试：

  1. static void readData() { 
  2.  
  3. static const char *query = "SELECT value FROM test WHERE value < ? ORDER BY value DESC LIMIT 1;"; 
  4.  
  5. dispatch_async(queue, ^{ 
  6.  
  7. sqlite3 *database = openDb(); 
  8.  
  9. sqlite3_stmt *stmt; 
  10.  
  11. while (sqlite3_prepare_v2(database, query, -1, &stmt, NULL) != SQLITE_OK); 
  12.  
  13. while (YES) { 
  14.  
  15. sqlite3_bind_int(stmt, 1, arc4random()); 
  16.  
  17. int returnCode = sqlite3_step(stmt); 
  18.  
  19. if (returnCode == SQLITE_ROW || returnCode == SQLITE_DONE) { 
  20.  
  21. ++readCount; 
  22.  
  23. } 
  24.  
  25. sqlite3_reset(stmt); 
  26.  
  27. } 
  28.  
  29. sqlite3_finalize(stmt); 
  30.  
  31. sqlite3_close(database); 
  32.  
  33. }); 
  34.  
  35. } 
  36.  
  37. static void writeData() { 
  38.  
  39. static const char *update = "UPDATE test SET value = ? WHERE id = ?;"; 
  40.  
  41. dispatch_async(queue, ^{ 
  42.  
  43. sqlite3 *database = openDb(); 
  44.  
  45. sqlite3_stmt *stmt; 
  46.  
  47. while (sqlite3_prepare_v2(database, update, -1, &stmt, nil) != SQLITE_OK); 
  48.  
  49. while (YES) { 
  50.  
  51. sqlite3_bind_int(stmt, 1, arc4random()); 
  52.  
  53. sqlite3_bind_int(stmt, 2, arc4random() % 1000 + 1); 
  54.  
  55. if (sqlite3_step(stmt) == SQLITE_DONE) { 
  56.  
  57. ++writeCount; 
  58.  
  59. } 
  60.  
  61. sqlite3_reset(stmt); 
  62.  
  63. } 
  64.  
  65. sqlite3_finalize(stmt); 
  66.  
  67. sqlite3_close(database); 
  68.  
  69. }); 
  70.  
  71. } 

结果为只读时平均每秒169次，只写时每秒246次，同时读写时每秒分别为90和57次(波动较大)。并发效率有了显著提升，但仍不及第二种方式。

第四种方式相当于让SQLite来维护队列，只不过SQL的执行是乱序的，因此无法保证事务性。

先恢复全局的database变量，然后配置成串行模式：

sqlite3_config(SQLITE_CONFIG_SERIALIZED);

再是访问数据库：

  1. static void readData() { 
  2.  
  3. static const char *query = "SELECT value FROM test WHERE value < ? ORDER BY value DESC LIMIT 1;"; 
  4.  
  5. dispatch_async(queue, ^{ 
  6.  
  7. sqlite3_stmt *stmt; 
  8.  
  9. if (sqlite3_prepare_v2(database, query, -1, &stmt, NULL) == SQLITE_OK) { 
  10.  
  11. while (YES) { 
  12.  
  13. sqlite3_bind_int(stmt, 1, arc4random()); 
  14.  
  15. int returnCode = sqlite3_step(stmt); 
  16.  
  17. if (returnCode == SQLITE_ROW || returnCode == SQLITE_DONE) { 
  18.  
  19. ++readCount; 
  20.  
  21. } 
  22.  
  23. sqlite3_reset(stmt); 
  24.  
  25. } 
  26.  
  27. sqlite3_finalize(stmt); 
  28.  
  29. } else { 
  30.  
  31. NSLog(@"Failed to prepare statement: %s", sqlite3_errmsg(database)); 
  32.  
  33. } 
  34.  
  35. }); 
  36.  
  37. } 
  38.  
  39. static void writeData() { 
  40.  
  41. static const char *update = "UPDATE test SET value = ? WHERE id = ?;"; 
  42.  
  43. dispatch_async(queue, ^{ 
  44.  
  45. sqlite3_stmt *stmt; 
  46.  
  47. if (sqlite3_prepare_v2(database, update, -1, &stmt, NULL) == SQLITE_OK) { 
  48.  
  49. while (YES) { 
  50.  
  51. sqlite3_bind_int(stmt, 1, arc4random()); 
  52.  
  53. sqlite3_bind_int(stmt, 2, arc4random() % 1000 + 1); 
  54.  
  55. if (sqlite3_step(stmt) == SQLITE_DONE) { 
  56.  
  57. ++writeCount; 
  58.  
  59. } 
  60.  
  61. sqlite3_reset(stmt); 
  62.  
  63. } 
  64.  
  65. sqlite3_finalize(stmt); 
  66.  
  67. } else { 
  68.  
  69. NSLog(@"Failed to prepare statement: %s", sqlite3_errmsg(database)); 
  70.  
  71. } 
  72.  
  73. }); 
  74.  
  75. } 

测试结果为只读时平均每秒164次，只写时每秒68次，同时读写时每秒分别为57和43次。读线程比写线程的速率更高，而且新线程的加入不需要等待。

WAL模式下，只读时平均每秒176次，只写时每秒254次，同时读写时每秒分别为109和85次。

由此可见，要获得最好的性能的话，WAL模式是必须启用的，为此也有必要自己编译SQLite 3.7.0以上的版本(除非不支持iOS 4.2及以下版本)。

而在测试过的后3种方式中：第3种是效率最低的，不建议使用;第4种读取性能更高，适合无需使用事务的场合;第2种适用范围更广，效率也足够优秀，一般应采用这种方式。

不过要注意的是，第2种方式在测试时的逻辑是完全与数据库相关的。实际中可能要做计算或IO访问等工作，在此期间其他线程都是被阻塞的，这样就会大大降低效率了。因此只建议把访问数据库的逻辑放入队列，其余工作在其他线程里完成。

刚才洗澡时我又想到一点，既然第2种方式不能并行，第4种方式不能保证事务性，那么能否将各自的优点结合起来呢?

于是一个新的实现方案又浮出水面了：使用2个串行队列，分别负责读和写，每个队列各使用一个数据库连接，线程模式可以采用多线程或串行模式。

代码拿方式2稍做修改就行了，这里就不列出了。测试结果波动比较大(估计是checkpoint的影响)，多线程模式下平均约为89和73次，串行模式下为91和86次。

但在iPad 2这种双核的机型上，多线程明显要比单队列更具优势：方式2的成绩是每秒各85次，方式3是94和124次(写波动较大)，方式4是95和72次，而新方案在多线程模式下是104和168次(写波动很大，40～280之间)，串行模式下为108和177次(写波动很大)。

因此极端的优化情况下，可以根据CPU核心数来创建队列数，然后把数据库访问线程随机分配到某个队列中。不过考虑到iOS设备这种嵌入式平台并不需要密集地访问数据库，而且除数据库线程以外还有其他事要做，如果没遇到瓶颈的话，简单的方案2其实也够用了。

你可能感兴趣的:(sqlite)

  • mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15） 知识分享小能手 大数据数据库MySQLmysql学习oracle数据库开发语言adb大数据
    1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
  • SQLite的入门级项目学习记录（二） 深蓝海拓 SQLite学习笔记sqlite学习数据库
    再补充一些基础知识：并行操作的问题1、可以多游标同时运行SQLite，对于同一个连接sqlite3.connect(db_file)，可以同时创建多个游标，每个游标都是独立的，可以执行各自的SQL命令序列。importsqlite3#创建数据库连接conn=sqlite3.connect('example.db')#创建第一个游标cursor1=conn.cursor()cursor1.execu
  • 【RabbitMQ 项目】服务端数据管理模块之交换机管理 月夜星辉雪 rabbitmqoracle数据库
    文章目录一.编写思路二.代码实践一.编写思路定义交换机类型直接交换广播交换主题交换定义交换机名字类型是否持久化定义交换机持久化类(持久化到sqlite3)构造函数(只能成功，不能失败)如果数据库(文件)不存在则创建打开数据库打开exchange_table数据库表插入交换机移除交换机将数据库中的交换机恢复到内存中传入一个哈希表，key为名字，value为交换机的智能指针，填充该哈希表定义交换机管理
  • Android JetPack架构——结合记事本Demo一篇打通对Sqlite的增删改查结合常用jetpack架构应用 erhtre 程序员androidjetpack架构sqlite
    为什么要用Jetpack?========================================================================关于为什么要用Jetpack，我参考了许多的博客和官方文档，开阔了我对Android生态圈的理解和认识，在Jetpack推出前出现的许许多多强大的第三方框架与语言，典型代表无疑是强大的RxJava在Jetpack仍然有许多粉丝在一
  • SQLite的架构 (The Architecture Of SQLite) 斗大的熊猫 Talkabout
    这篇文档描述SQLite库的基本架构。对那些想要理解和修改SQLite的人很有帮助。下面这张图表展示了SQLite的组件和它们之间的关系。接口（Interface）SQLite的很多对外接口的实现函数在main.c，legacy.c和vdbeapi.c。还以一些散落在其他文件中，sqlite3_get_table()函数实现在table.c，sqlite3_mprintf()函数在printf.c
  • SQLite的扩展函数Carray()表值函数(三十八) 界忆 数据库C与c++SQLitesqlite数据库c++
    返回：SQLite—系列文章目录上一篇:SQLite如何处理CSV虚拟表下一篇：SQLite—系列文章目录1.概述Carray()是一个具有单列的表值函数(名为“value”)和零行或多行。carray()中每一行的“值”取自C语言数组由应用程序通过参数绑定提供。这样，carray()函数提供了一种方便的机制来将C语言数组绑定到SQL查询。2.可用性默认情况下，carray()函数不会编译为SQL
  • 数据库知识点 (笑)z 数据库
    SQLite相关命令.tables：查看数据库中的表.headerson/off：开启或关闭表头显示.modecolumn：设置输出模式为列对齐.width列宽1列宽2：这个命令实际上是.width列名1列宽1列名2列宽2，用于设置特定列的宽度.schema表名：查看表的结构SQLite的SQL语句基本数据类型INTEGER：整形REAL：浮点型TEXT：文本类型，字符串NULL：空SQL操作增，
  • 嵌入式数据库sqlite和rocksdb的介绍以及对比 问道飞鱼 数据库相关技术数据库sqliterocksdb
    SQLite和RocksDB都是非常流行的嵌入式数据库系统，但它们的设计理念和应用场景有所不同。下面是对这两个数据库系统的详细介绍以及它们之间的主要区别。SQLite简介SQLite是一个轻量级的关系数据库管理系统，完全由C语言编写而成。它以单一文件的形式存储数据库，并且不需要独立的服务器进程或管理程序。SQLite直接嵌入到应用程序中，这使得它非常适合移动设备、嵌入式系统和桌面应用程序。特点嵌入
  • 9.10网络编程（day7） Heart14 网络jvmjava
    #include#includetypedefstruct{intgh;charname[20];doublesalary;}Worker;intdo_insert(sqlite3*ppDb){Workerwork;printf("请输入插入的工号：");scanf("%d",&work.gh);printf("请输入插入的姓名：");scanf("%s",work.name);printf("请
  • 网络编程 9.10 Tangver 数据库
    完成代码剩余功能typedefstruct{intgh;charname[20];doublesalary;}Worker;intdo_insert(sqlite3*ppDb){Workerwork;printf("请输入插入的工号:");scanf("%d",&work.gh);printf("请输入插入的姓名:");scanf("%s",work.name);printf("请输入插入的薪水:
  • 通过DBeaver连接Phoenix操作hbase 不想做咸鱼的王富贵
    通过DBeaver连接Phoenix操作hbase前言本文介绍常用一种通用数据库工具Dbeaver，DBeaver可通过JDBC连接到数据库，可以支持几乎所有的数据库产品，包括：MySQL、PostgreSQL、MariaDB、SQLite、Oracle、Db2、SQLServer、Sybase、MSAccess、Teradata、Firebird、Derby等等。商业版本更是可以支持各种NoSQ
  • sqlite在Windows环境下安装、使用、node.js连接 标准形与二次型 sqlitenode.js数据库
    sqlite在Windows环境下安装、使用、node.js连接前言：2024年9月10日1.下载安装sqlite的安装非常简单去官网下载对应压缩包将两个压缩包解压，并将解压出来的文件放在同一目录下将上面的目录路径配置到环境变量path中2.执行sqlsqlite非常轻量级，执行命令和sql都可以通过cmd或解压出来的sqlite3.exe。但要注意：cmd执行sqlite3类似于双击sqlite
  • Sql-基础知识 择喀普斯
    --数据库（database）：存储数据的仓库，--数据库（database）--数据表（table）--列名（字段-field）--数据（值-value）--创建表--(在sqlite数据库中创建表的时候定义数据类型的起不来限制数据类型的作用的--因为sqlite的数据的数据类型数弱类型，它会根据用户输入的数据进行自动的识别并添加--到数据库表中，和大多数数据库一样，sqlite是大小写不敏感的
  • android系统设计模式 轻口味 Android系列android设计模式
    Android官方架构组件介绍之LifeCycle,Android架构组件一共包括以下几个：LifeCycle：与Activity和Fragment的生命周期有关LiveData：异步可订阅数据，也是生命周期感知ViewModel：视图数据持有模型，也是生命周期感知Room：SQLite抽象层，用于简化SQLite数据存储官网设计原则Android应用程序的开发使用Java编写，在架构上使用MVC
  • 让Python更加充分的使用Sqlite3 weixin_33726318 python数据库运维
    我最近在涉及大量数据处理的项目中频繁使用sqlite3。我最初的尝试根本不涉及任何数据库，所有的数据都将保存在内存中，包括字典查找、迭代和条件等查询。这很好，但可以放入内存的只有那么多，并且将数据从磁盘重新生成或加载到内存是一个繁琐又耗时的过程。我决定试一试sqlite3。因为只需打开与数据库的连接，这样可以增加可处理的数据量，并将应用程序的加载时间减少到零。此外，我可以通过SQL查询替换很多Py
  • 【全志H616开发】使用sqlite3_exec函数操作SQLite数据库 调包侠@ 全志H616开发数据库sqlite
    文章目录sqlite3_exec函数介绍callback回调函数代码示例sqlite3_exec函数介绍sqlite3_exec是SQLite数据库库中的一个函数，用于执行一条或多条SQL语句。这个函数的原型是：intsqlite3_exec(sqlite3*,constchar*sql,int(*callback)(void*,int,char**,char**),void*,char**err
  • SQLite数据库管理与Android应用集成 含老司开挖掘机
    本文还有配套的精品资源，点击获取简介：SQLite是一种轻量级的关系型数据库，适用于移动设备和单机应用。它内置了对SQL标准的支持，并提供丰富的数据操作功能。在Android开发中，SQLite是默认的数据库解决方案，可通过SQLiteOpenHelper和SQLiteDatabaseAPI进行管理。本教程将通过实践帮助理解SQLite数据库的创建、管理和使用，以及如何将其与Android应用集成
  • 构建智能门禁安防系统：树莓派 4B、OpenCV、SQLite 和 MQTT 的应用（代码示例） 极客小张 opencvsqlitejvm单片机物联网计算机视觉树莓派
    一、项目概述1.1项目目标和用途本项目旨在开发一个智能门禁安防系统，该系统利用摄像头和人脸识别技术，结合本地人脸库，实现对进出人员的自动识别和管理。系统能够实时记录进出人员的信息，并对未注册人员进行警报提示。通过与物联网平台的集成，用户可以远程监控和管理门禁系统，提升安全性和管理效率。1.2解决的问题和价值传统的门禁系统往往依赖于钥匙或密码，存在安全隐患和管理不便的问题。本项目通过人脸识别技术，解
  • 【Sqlite】.NET Framework使用Sqlite的注意事项 主宰者 个人笔记数据库
    注意：NuGet引入System.Data.SQLite.Core不要引入System.Data.SQLite注意：局域网共享链接正常链接DataSource=\\BAT-OCV\SqliteDB\batOCV.db;Version=3;Pooling=True;MaxPoolSize=100;局域网链接DataSource=\\\BAT-OCV\SqliteDB\batOCV.db;Versio
  • tkinter+sqlite3学生信息管理系统_python图形界面数据库tkinter+sqlite3 2301_82244392 程序员python学习面试
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化学习资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！用到了sqlite数据库，std_data.py文
  • 爬虫代理IP池的实现 小温侯
    代理池的思路之前写过一篇关于代理的文档：爬虫和IP代理，里面介绍了一些代理的基本知识，后半部分我也见到那说了下如何用Python抓取免费的代理IP并检验其有效性。这篇文章就是在其基础上尝试完整实现了一个代理IP池：后端用的是sqlite3，因为之前爬网易云音乐评论时后端就是用的它，最后存了大概一万条评论，读取写入时间都很不错，我估计代理池里的IP最后也只会是这个量级。还有就是sqlite3用起来非
  • Node.js sqlite3的db.close方法：正确关闭数据库连接 软考鸭 sqlitenodejs帮助文档数据库sqlitesql
    在Node.js环境中，sqlite3是一个广受欢迎的轻量级数据库库，它为开发者提供了一个简洁的API来与SQLite数据库进行交互。当完成数据库操作后，正确关闭数据库连接是一个重要的步骤，以确保资源得到释放并避免潜在的内存泄漏。sqlite3库提供了db.close方法来实现这一功能。本文将深入解析db.close方法，包括其API函数定义和相应的代码示例解释。一、db.close方法简介db.
  • 数据库里的幽灵数据 - SQLite WAL模式探秘 十步杀一人_千里不留行 数据库
    亲爱的开发者朋友们,你是否曾经遇到过这样一个令人困惑的场景:你辛辛苦苦地往数据库里插入了新数据,信心满满地打开数据库文件一看,结果却发现新数据仿佛人间蒸发了一般?不要慌,这篇文章将为你揭开这个神秘现象的面纱。让我们从一个真实的故事开始。小明是一个移动应用开发者,最近他在开发一个日志记录应用。一切进展顺利,直到有一天…//插入新日志asyncfunctioninsertNewLog(logData)
  • Node.js 数据库操作详解：构建高效的数据持久化层 Switch616 前端node.js数据库运维服务器系统架构前端框架前端
    Node.js数据库操作详解：构建高效的数据持久化层目录MongoDB使用mongoose连接MongoDB定义模型和数据验证实现CRUD操作️MySQL使用mysql或mysql2模块连接MySQL执行SQL查询处理结果和错误SQLite使用sqlite3模块连接SQLite执行SQL查询处理事务MongoDB使用mongoose连接MongoDBmongoose是一个为MongoDB提供对象数
  • 系统优化---功能优化心得 beiwolide 数据库优化
    需求描述错题本功能要求展示最近一次答错的小题，如果该题最近一次答对了将不会展示，同时展示信息还包含答题总数、答错次数、连错次数及其他边缘信息问题描述当用户答题数据量增大的时候，应该是几千条的时候，每次查询需要5秒左右的响应时间问题分析首先是硬件，由于我们的产品是平板，且设备整体性能比较差；其次，pad本地用的是sqlite数据库不支持变量声明，所以不能像mysql那样比较轻松的通过变量来实现；再次
  • sqlite3 相关知识 杨筱毅 sqlite数据库c++
    WAL模式VS回滚模式特性WAL模式回滚模式（RollbackJournal）定义使用写前日志来记录变更。使用回滚日志来记录事务的所有修改。特点更高的并发性和性能；支持多读者和单写者。支持安全的事务回滚，但并发性较低。性能写入性能更好，尤其是读多写少的场景。写操作会造成较大的性能开销，尤其是在事务开始时。写入流程数据首先写入WAL文件，然后才从WAL刷新到主数据库。数据在开始事务时写入日志文件，完
  • 嵌入式Linux使用sqlite的库源码编译及用户程序的编译 junziruyu53 sqlite数据库
    本文章记录了在嵌入式设备中使用sqlite数据库的前期编译工作，工作是在虚拟机ubuntu环境中进行的。首先需要去官网下载sqlite源码，官网地址SQLiteDownloadPage，下载后在虚拟机环境解压，进入文件目录，执行如下命令，将生成Makefile文件。其中，编译器及安装目标路径等需要根据自己的情况进行修改，单纯执行./configure一般不会成功。./configureCC=arm
  • android studio SQLite数据库的简单使用 爱掉发的小龙 oracle数据库androidstudiojavaandroidsqlite
    在AndroidStudio中使用数据库可以有多种方式，常见的几种方式包括使用SQLite数据库和使用SQLite数据库SQLite是一款轻量级的关系型数据库管理系统，在Android中被广泛使用。要在AndroidStudio中使用SQLite数据库，需要先创建一个数据库帮助类，这个类继承自SQLiteOpenHelper类，用于创建和管理数据库。在数据库帮助类中，可以定义表结构和数据库操作方法
  • GreenDao_基本配置和使用 这个Bug有点难搞 androidandroidandroidstudio数据库
    核心类介绍1.DaoMaster它持有数据库对象（SQLiteDataBase），并且提供了创建和删除表的静态方法。有两个内部类，OpenHelper、DevOpenHelper实现SQLiteOpenHelper,用来创建数据库表结构。2.DaoSession：DaoSession用来管理Dao对象，可通过get方法，获取XXDao对象，进行对表的基本操作。DaoSession本身也提供了一些基
  • codefirst sqlsugar提示序列不包含任何元素，sqlite支持实体类型DateTimeOffSet吗 战族狼魂 数据库sqlite
    目录一、codefirstsqlsugar提示序列不包含任何元素可能原因分析解决方案1.检查实体类与数据库表结构2.使用DbMaintenance检查表结构3.使用更安全的查询方法4.调试和日志记录5.自动迁移和初始化二、sqlite支持实体类型SQLite对DateTimeOffset类型的支持使用SqlSugar和SQLite处理DateTimeOffset示例解决方案1.自定义DateTim
  • jQuery 跨域访问的三种方式 No 'Access-Control-Allow-Origin' header is present on the reque qiaolevip 每天进步一点点学习永无止境跨域众观千象
    XMLHttpRequest cannot load http://v.xxx.com. No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://localhost:63342' is therefore not allowed access. test.html:1
  • mysql 分区查询优化 annan211 java分区优化mysql
    分区查询优化 引入分区可以给查询带来一定的优势，但同时也会引入一些bug. 分区最大的优点就是优化器可以根据分区函数来过滤掉一些分区，通过分区过滤可以让查询扫描更少的数据。 所以，对于访问分区表来说，很重要的一点是要在where 条件中带入分区，让优化器过滤掉无需访问的分区。 可以通过查看explain执行计划，是否携带 partitions
  • MYSQL存储过程中使用游标 chicony Mysql存储过程
    DELIMITER $$ DROP PROCEDURE IF EXISTS getUserInfo $$ CREATE PROCEDURE getUserInfo(in date_day datetime)-- -- 实例-- 存储过程名为：getUserInfo-- 参数为：date_day日期格式:2008-03-08--    BEGINdecla
  • mysql 和 sqlite 区别 Array_06 sqlite
    转载： http://www.cnblogs.com/ygm900/p/3460663.html mysql 和 sqlite 区别 SQLITE是单机数据库。功能简约，小型化，追求最大磁盘效率 MYSQL是完善的服务器数据库。功能全面，综合化，追求最大并发效率 MYSQL、Sybase、Oracle等这些都是试用于服务器数据量大功能多需要安装，例如网站访问量比较大的。而sq
  • pinyin4j使用 oloz pinyin4j
    首先需要pinyin4j的jar包支持；jar包已上传至附件内 方法一:把汉字转换为拼音；例如：编程转换后则为biancheng      /** * 将汉字转换为全拼 * @param src 你的需要转换的汉字 * @param isUPPERCASE 是否转换为大写的拼音； true:转换为大写；fal
  • 微博发送私信 随意而生 微博
    在前面文章中说了如和获取登陆时候所需要的cookie，现在只要拿到最后登陆所需要的cookie，然后抓包分析一下微博私信发送界面 http://weibo.com/message/history?uid=****&name=**** 可以发现其发送提交的Post请求和其中的数据， 让后用程序模拟发送POST请求中的数据，带着cookie发送到私信的接入口，就可以实现发私信的功能了。
  • jsp 香水浓 jsp
    JSP初始化     容器载入JSP文件后，它会在为请求提供任何服务前调用jspInit()方法。如果您需要执行自定义的JSP初始化任务，复写jspInit()方法就行了 JSP执行     这一阶段描述了JSP生命周期中一切与请求相关的交互行为，直到被销毁。     当JSP网页完成初始化后
  • 在 Windows 上安装 SVN Subversion 服务端 AdyZhang SVN
    在 Windows 上安装 SVN Subversion 服务端2009-09-16高宏伟哈尔滨市道里区通达街291号   最佳阅读效果请访问原地址：http://blog.donews.com/dukejoe/archive/2009/09/16/1560917.aspx   现在的Subversion已经足够稳定，而且已经进入了它的黄金时段。我们看到大量的项目都在使
  • android开发中如何使用 alertDialog从listView中删除数据？ aijuans android
    我现在使用listView展示了很多的配置信息，我现在想在点击其中一条的时候填出 alertDialog,点击确认后就删除该条数据，（ ArrayAdapter ，ArrayList，listView 全部删除），我知道在 下面的onItemLongClick 方法中 参数 arg2  是选中的序号，但是我不知道如何继续处理下去 1 2 3
  • jdk-6u26-linux-x64.bin 安装 baalwolf linux
    1.上传安装文件(jdk-6u26-linux-x64.bin) 2.修改权限 [root@localhost ~]# ls -l /usr/local/jdk-6u26-linux-x64.bin 3.执行安装文件 [root@localhost ~]# cd /usr/local [root@localhost local]# ./jdk-6u26-linux-x64.bin&nbs
  • MongoDB经典面试题集锦 BigBird2012 mongodb
    1.什么是NoSQL数据库？NoSQL和RDBMS有什么区别？在哪些情况下使用和不使用NoSQL数据库？ NoSQL是非关系型数据库，NoSQL = Not Only SQL。 关系型数据库采用的结构化的数据，NoSQL采用的是键值对的方式存储数据。 在处理非结构化/半结构化的大数据时；在水平方向上进行扩展时；随时应对动态增加的数据项时可以优先考虑使用NoSQL数据库。 在考虑数据库的成熟
  • JavaScript异步编程Promise模式的6个特性 bijian1013 JavaScriptPromise
            Promise是一个非常有价值的构造器，能够帮助你避免使用镶套匿名方法，而使用更具有可读性的方式组装异步代码。这里我们将介绍6个最简单的特性。         在我们开始正式介绍之前，我们想看看Javascript Promise的样子： var p = new Promise(function(r
  • [Zookeeper学习笔记之八]Zookeeper源代码分析之Zookeeper.ZKWatchManager bit1129 zookeeper
    ClientWatchManager接口 //接口的唯一方法materialize用于确定那些Watcher需要被通知 //确定Watcher需要三方面的因素1.事件状态 2.事件类型 3.znode的path public interface ClientWatchManager { /** * Return a set of watchers that should
  • 【Scala十五】Scala核心九：隐式转换之二 bit1129 scala
    隐式转换存在的必要性，   在Java Swing中，按钮点击事件的处理，转换为Scala的的写法如下：   val button = new JButton button.addActionListener( new ActionListener { def actionPerformed(event: ActionEvent) {
  • Android JSON数据的解析与封装小Demo ronin47
    转自：http://www.open-open.com/lib/view/open1420529336406.html package com.example.jsondemo; import org.json.JSONArray; import org.json.JSONException; import org.json.JSONObject;    impor
  • [设计]字体创意设计方法谈 brotherlamp UIui自学ui视频ui教程ui资料
      从古至今，文字在我们的生活中是必不可少的事物，我们不能想象没有文字的世界将会是怎样。在平面设计中，UI设计师在文字上所花的心思和功夫最多，因为文字能直观地表达UI设计师所的意念。在文字上的创造设计，直接反映出平面作品的主题。 如设计一幅戴尔笔记本电脑的广告海报，假设海报上没有出现“戴尔”两个文字，即使放上所有戴尔笔记本电脑的图片都不能让人们得知这些电脑是什么品牌。只要写上“戴尔笔
  • 单调队列-用一个长度为k的窗在整数数列上移动，求窗里面所包含的数的最大值 bylijinnan java算法面试题
    import java.util.LinkedList; /* 单调队列 滑动窗口 单调队列是这样的一个队列：队列里面的元素是有序的，是递增或者递减 题目：给定一个长度为N的整数数列a(i),i=0,1,...,N-1和窗长度k. 要求：f(i) = max{a(i-k+1),a(i-k+2),..., a(i)},i = 0,1,...,N-1 问题的另一种描述就
  • struts2处理一个form多个submit chiangfai struts2
    web应用中，为完成不同工作，一个jsp的form标签可能有多个submit。如下代码： <s:form action="submit" method="post" namespace="/my"> <s:textfield name="msg" label="叙述：">
  • shell查找上个月，陷阱及野路子 chenchao051 shell
    date -d "-1 month" +%F     以上这段代码，假如在2012/10/31执行，结果并不会出现你预计的9月份，而是会出现八月份，原因是10月份有31天，9月份30天，所以-1 month在10月份看来要减去31天，所以直接到了8月31日这天，这不靠谱。     野路子解决：假设当天日期大于15号
  • mysql导出数据中文乱码问题 daizj mysql中文乱码导数据
    解决mysql导入导出数据乱码问题方法： １、进入mysql，通过如下命令查看数据库编码方式： mysql>  show variables like 'character_set_%'; +--------------------------+----------------------------------------+ | Variable_name&nbs
  • SAE部署Smarty出现：Uncaught exception 'SmartyException' with message 'unable to write dcj3sjt126com PHPsmartysae
      对于SAE出现的问题：Uncaught exception 'SmartyException' with message 'unable to write file...。 官方给出了详细的FAQ：http://sae.sina.com.cn/?m=faqs&catId=11#show_213 解决方案为：   01 $path 
  • 《教父》系列台词 dcj3sjt126com
    Your love is also your weak point. 你的所爱同时也是你的弱点。   If anything in this life is certain, if history has taught us anything, it is that you can kill anyone.   不顾家的人永远不可能成为一个真正的男人。 &
  • mongodb安装与使用 dyy_gusi mongo
    一.MongoDB安装和启动,widndows和linux基本相同 1.下载数据库,     linux:mongodb-linux-x86_64-ubuntu1404-3.0.3.tgz 2.解压文件,并且放置到合适的位置     tar -vxf mongodb-linux-x86_64-ubun
  • Git排除目录 geeksun git
    在Git的版本控制中，可能有些文件是不需要加入控制的，那我们在提交代码时就需要忽略这些文件，下面讲讲应该怎么给Git配置一些忽略规则。   有三种方法可以忽略掉这些文件，这三种方法都能达到目的，只不过适用情景不一样。 1.  针对单一工程排除文件 这种方式会让这个工程的所有修改者在克隆代码的同时，也能克隆到过滤规则，而不用自己再写一份，这就能保证所有修改者应用的都是同一
  • Ubuntu 创建开机自启动脚本的方法 hongtoushizi ubuntu
    转载自： http://rongjih.blog.163.com/blog/static/33574461201111504843245/ Ubuntu 创建开机自启动脚本的步骤如下： 1) 将你的启动脚本复制到 /etc/init.d目录下 以下假设你的脚本文件名为 test。   2) 设置脚本文件的权限 $ sudo chmod 755
  • 第八章 流量复制/AB测试/协程 jinnianshilongnian nginxluacoroutine
    流量复制 在实际开发中经常涉及到项目的升级，而该升级不能简单的上线就完事了，需要验证该升级是否兼容老的上线，因此可能需要并行运行两个项目一段时间进行数据比对和校验，待没问题后再进行上线。这其实就需要进行流量复制，把流量复制到其他服务器上，一种方式是使用如tcpcopy引流；另外我们还可以使用nginx的HttpLuaModule模块中的ngx.location.capture_multi进行并发
  • 电商系统商品表设计 lkl
    DROP TABLE IF EXISTS `category`; -- 类目表 /*!40101 SET @saved_cs_client = @@character_set_client */; /*!40101 SET character_set_client = utf8 */; CREATE TABLE `category` ( `id` int(11) NOT NUL
  • 修改phpMyAdmin导入SQL文件的大小限制 pda158 sqlmysql
    　用phpMyAdmin导入mysql数据库时，我的10M的 数据库不能导入，提示mysql数据库最大只能导入2M。 　　 phpMyAdmin数据库导入出错： 　　You probably tried to upload too large file. Please refer to documentation for ways to workaround this limit.
  • Tomcat性能调优方案 Sobfist apachejvmtomcat应用服务器
    一、操作系统调优 对于操作系统优化来说，是尽可能的增大可使用的内存容量、提高CPU的频率，保证文件系统的读写速率等。经过压力测试验证，在并发连接很多的情况下，CPU的处理能力越强，系统运行速度越快。。 【适用场景】 任何项目。 二、Java虚拟机调优 应该选择SUN的JVM，在满足项目需要的前提下，尽量选用版本较高的JVM，一般来说高版本产品在速度和效率上比低版本会有改进。 J
  • SQLServer学习笔记 vipbooks 数据结构xml
    1、create database school 创建数据库school 2、drop database school 删除数据库school 3、use school 连接到school数据库，使其成为当前数据库 4、create table class(classID int primary key identity not null) 创建一个名为class的表，其有一
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他