UnQLite：多语言支持的嵌入式NoSQL数据库深入解析

1. 引言

UnQLite 是一个嵌入式的NoSQL数据库引擎，提供一个无需编写复杂SQL语句的方案，支持任意形式的数据存储。对于需要频繁操作JSON数据的应用来说，UnQLite提供的JSON文档存储和读取特别方便，使得数据操作直观和高效，适合于各种嵌入式应用程序。

核心特性

• Key/Value存储：灵活的键值存储，类似于Berkeley DB和LevelDB。
• 事务支持：完整的ACID事务支持，确保数据一致性。
• 多语言支持：支持C/C++、Python、Go、Perl和Lua等语言。

可以通过以下链接下载：UnQLite 下载页面。

2. Key/Value 存储接口

UnQLite的Key/Value存储接口适合存储原始数据。键和值都被视为字节数组，可以存储任意类型的数据，如字符串、二进制对象等。

2.1 关键函数

• unqlite_kv_store(): 存储键值对。
• unqlite_kv_append(): 追加数据到现有的键值对。
• unqlite_kv_fetch_callback(): 通过回调函数获取数据。
• unqlite_kv_delete(): 删除指定键的记录。

2.2 使用示例

以下代码介绍如何使用UnQLite的Key/Value存储接口执行基本操作：

#include 

int main(void) {
  unqlite *pDb;
  int rc;

  /* 打开数据库 */
  rc = unqlite_open(&pDb, "test.db", UNQLITE_OPEN_CREATE);
  if (rc != UNQLITE_OK) {
    return 1; /* 非0返回值表示错误 */
  }

  /* 存储记录 */
  rc = unqlite_kv_store(pDb, "test", -1, "Hello World", 11U);
  if (rc != UNQLITE_OK) {
    unqlite_close(pDb); /* 关闭数据库 */
    return 1;
  }

  /* 追加数据 */
  rc = unqlite_kv_append(pDb, "msg", -1, "Hello, ", 7U);
  if (rc == UNQLITE_OK) {
    rc = unqlite_kv_append_fmt(pDb, "msg", -1, "%d:%d:%d", 10, 16, 53);
  }
  if (rc != UNQLITE_OK) {
    unqlite_close(pDb); /* 关闭数据库 */
    return 1;
  }

  /* 删除记录 */
  rc = unqlite_kv_delete(pDb, "test", -1);
  if (rc != UNQLITE_OK) {
    unqlite_close(pDb); /* 关闭数据库 */
    return 1;
  }

  /* 关闭数据库 */
  rc = unqlite_close(pDb);
  if (rc != UNQLITE_OK) {
    return 1;
  }

  return 0; /* 0表示成功 */
}

2.3 高级操作：批量文件存储

可以将外部文件（如XML、音频文件等）直接存储到UnQLite数据库中，并在需要时通过简单的查询提取。

#include 

int store_files_in_db(int argc, char *argv[]) {
  unqlite *pDb;
  void *pMap;
  unqlite_int64 iSize;
  int rc;
  int i;

  /* 检查参数数量 */
  if (argc <= 1) {
    return 1; /* 错误：没有文件参数 */
  }

  rc = unqlite_open(&pDb, "test.db", UNQLITE_OPEN_CREATE);
  if (rc != UNQLITE_OK) {
    return 1;
  }

  for (i = 1; i < argc; ++i) {
    const char *zName = argv[i];
    rc = unqlite_util_load_mmaped_file(zName, &pMap, &iSize);
    if (rc != UNQLITE_OK) {
      unqlite_close(pDb);
      return 1;
    }

    rc = unqlite_kv_store(pDb, zName, -1, pMap, (unsigned int)iSize);
    unqlite_util_release_mmaped_file(pMap, iSize);
    if (rc != UNQLITE_OK) {
      unqlite_close(pDb);
      return 1;
    }
  }

  rc = unqlite_close(pDb);
  if (rc != UNQLITE_OK) {
    return 1;
  }

  return 0;
}

3. 游标的使用

游标允许遍历整个数据库的记录，适用于需要顺序访问或修改记录的场景。

游标操作示例

#include 

/* 假设DataConsumerCallback函数已定义 */

int traverse_records(void) {
  unqlite *pDb;
  unqlite_kv_cursor *pCursor;
  unqlite_int64 iData;
  int rc;

  rc = unqlite_open(&pDb, "test.db", UNQLITE_OPEN_CREATE);
  if (rc != UNQLITE_OK) {
    return 1;
  }

  rc = unqlite_kv_cursor_init(pDb, &pCursor);
  if (rc != UNQLITE_OK) {
    unqlite_close(pDb);
    return 1;
  }

  rc = unqlite_kv_cursor_last_entry(pCursor);
  if (rc != UNQLITE_OK) {
    unqlite_kv_cursor_release(pDb, pCursor);
    unqlite_close(pDb);
    return 1;
  }

  while (unqlite_kv_cursor_valid_entry(pCursor)) {
    /* Consume the key */
    rc = unqlite_kv_cursor_key_callback(pCursor, DataConsumerCallback, 0);
    if (rc != UNQLITE_OK) {
      unqlite_kv_cursor_release(pDb, pCursor);
      unqlite_close(pDb);
      return 1;
    }

    /* Extract data length */
    rc = unqlite_kv_cursor_data(pCursor, NULL, &iData);
    if (rc != UNQLITE_OK) {
      unqlite_kv_cursor_release(pDb, pCursor);
      unqlite_close(pDb);
      return 1;
    }

    /* Consume the data */
    rc = unqlite_kv_cursor_data_callback(pCursor, DataConsumerCallback, 0);
    if (rc != UNQLITE_OK) {
      unqlite_kv_cursor_release(pDb, pCursor);
      unqlite_close(pDb);
      return 1;
    }

    /* Move to the previous record */
    rc = unqlite_kv_cursor_prev_entry(pCursor);
    if (rc != UNQLITE_OK && rc != UNQLITE_DONE) {
      unqlite_kv_cursor_release(pDb, pCursor);
      unqlite_close(pDb);
      return 1;
    }
  }

  unqlite_kv_cursor_release(pDb, pCursor);
  rc = unqlite_close(pDb);
  if (rc != UNQLITE_OK) {
    return 1;
  }

  return 0;
}

4. UnQLite-Python使用示例

下面是如何在 Python 中使用 UnQLite 的简要介绍，并展示了基本的操作示例。
可以通过pip3 install unqlite安装Python组件。

import unqlite  

def main():  
    try:  
        # 打开数据库  
        with unqlite.UnQLite('test.db', unqlite.OPEN_CREATE) as db:  

            # 存储记录  
            db['test'] = 'Hello World'  
            print("Stored record: 'Hello World'")  

            # 追加数据  
            db['msg'] = db.get('msg', '') + 'Hello, '  
            db['msg'] += f"{10}:{16}:{53}"  
            print("Appended to 'msg':", db['msg'])  

            # 删除记录  
            if 'test' in db:  
                del db['test']  
                print("Deleted record: 'test'")  
            else:  
                print("Record 'test' not found.")  

            # 检查 'test' 是否已经删除  
            if 'test' in db:  
                print("Failed to delete record 'test'.")  
            else:  
                print("Record 'test' successfully deleted.")  

    except Exception as e:  
        print(f"Error: {e}")  

if __name__ == "__main__":  
    main()

4. UnQLite数据库引擎架构

UnQLite采用分层架构设计，主要由以下几个关键组件构成：

5.1 Key/Value存储层

UnQLite的核心是一个标准的键/值存储层，类似于BerkeleyDB和LevelDB。它支持ACID事务和并发读取，键和值均为字节数组，能存储各种类型的数据（如ASCII字符串、二进制数据）。该层通过一组接口与主机应用程序交互，接口包括unqlite_kv_store()、unqlite_kv_append() 和 unqlite_kv_fetch_callback()等。

5.2 文档存储层

文档存储层用于存储JSON文档，由Jx9编程语言驱动。Jx9是一种嵌入式脚本语言，具备图灵完备性和动态类型特性，语法类似于C和JavaScript。作为扩展语言，Jx9允许在数据库层直接操作JSON格式的数据，提供了强大的文档处理能力。

5.3 可插拔的存储引擎

UnQLite支持多种可插拔的存储引擎，如Hash、B+树、R+树、LSM等。内置的存储引擎包括用于持久化数据库的虚拟线性哈希（VLH）引擎和用于内存数据库的哈希表或红黑树引擎。这种设计使得UnQLite可以根据不同应用场景选择最合适的存储引擎。

5.4 事务管理器与分页模块

分页模块负责从磁盘读写固定大小的块（默认为4096字节），并管理缓存。它还提供回滚和原子提交的功能，确保数据操作的安全性和效率。存储引擎通过页面缓存与分页模块进行交互，处理数据的修改、提交或回滚请求。

5.5 虚拟文件系统

为了实现跨平台兼容性，UnQLite设计了一个抽象的虚拟文件系统（VFS），用于不同操作系统间的移植。每个操作系统都有其专属的VFS实现，这确保了UnQLite可以在POSIX和Win32/64等系统上运行。

6. UNQlite VS SQLite

• 缓存机制：

  • UnQLite首次查询较慢，涉及磁盘访问和数据预处理（如FastJSON解码）。
  • 后续查询利用内存中的缓存，速度更快。

• 性能测试结果：

  • UnQLite内存中：
    • 存储：901.9毫秒
    • 查询：2586毫秒
  • UnQLite本地磁盘上：
    • 存储：15223.3毫秒
    • 查询：114.2毫秒
  • SQLite内存中：
    • 存储：9507毫秒
    • 查询：105毫秒

• 性能比较：

  • 内存中，UnQLite存储速度比SQLite快，但查询速度较慢。
  • 本地磁盘上，UnQLite查询速度比SQLite快，但存储速度较慢。

7. 总结

UnQLite采用分层设计和灵活架构，能够满足多种嵌入式数据库需求。它支持多种编程语言，使用简单，易于上手。除了键值存储外，UnQLite还具备强大的文档存储和跨平台功能。通过结合文档存储、游标和键值接口，也可以开发出复杂的嵌入式数据库应用。