Redis_类比简单键值数据库

Redis核心技术与实战 - 01

目录

1、可以存储那些数据 

Redis的value可以存储丰富的【数据类型】

2、可以对数据做什么操作 

Redis提供了基本的增删改查等和基于复杂value类型操作接口

3、如何保存键值对（内存还是外存）

Redis以内存为主保存键值对，但存在一旦掉电，数据就会全部消失问题，提供【Redis的持久化方式】。

4、键值对数据库基本架构 

5、采用什么访问模式  

Redis采用的是网络框架访问【redis使用单线程并提供高效服务】

6、如何定位键值对位置  

Redis采用hash表定位key，并对于复杂数据类型的value的访问也需要索引，Redis 采用一些常见的高效索引结构作为某些 value 类型的底层数据结构。【redis底层数据结构】

7、不同操作的具体逻辑是怎样的 

8、如何进行内存分配 

Redis以内存存储为主，Redis 的内存分配器提供了多种选择，分配效率也不一样。

9、如何实现重启后快速提供服务 

Redis的高可靠不仅体现在数据少丢失，还体现在服务不中断【主从复制读写分离（多实例提供数据服务）】【哨兵机制（监控主库状态）】【哨兵集群（监控哨兵状态）】

---

1、可以存储那些数据

对于键值数据库而言，基本的数据模型是 key-value 模型；

不同的数据库支持的key 的数据类型一般差异不大，而 value 存储的数据类型则有较大差别。

2、可以对数据做什么操作？

PUT/GET/DELETE/SCAN 是一个键值数据库的基本操作集合。SCAN 操作，即根据一段 key 的范围返回相应的 value 值。根据value的不同类型，提供不同的操作接口。

3、如何保存键值对（内存还是外存）

内存读取速度快，但是一旦断电数据就会完全丢失，但是保存在外存，虽然可以避免数据丢失，却受限于磁盘的慢速读写（通常在几 ms 级别），键值数据库的整体性能会被拉低。

如何进行设计选择，我们通常需要考虑键值数据库的主要应用场景：
比如，缓存场景下的数据需要能快速访问但允许丢失，那么，用于此场景的键值数据库通常采用内存保存键值数据。

4、键值对数据库基本架构

一个键值数据库包括了访问框架、索引模块、操作模块和存储模块四部分

5、采用什么访问模式？

访问模式通常有两种：

1. 一种是通过函数库调用的方式供外部应用使用，比如，上图中的 libsimplekv.so，就是以动态链接库的形式链接到我们自己的程序中，提供键值存储功能；
2. 另一种是通过网络框架以 Socket 通信的形式对外提供键值对操作，这种形式可以提供广泛的键值存储服务。

在上图中，我们可以看到，网络框架中包括 Socket Server 和协议解析。

Redis 则是通过网络框架访问， Redis 现有的客户端和通信协议。对于网络连接的处理、网络请求的解析，以及数据存取的处理，Redis采取的是单线程，Redis如何通过单线程实现高性能的呢？

网络框架提供键值存储服务带来的线程问题：

通过网络框架提供键值存储服务，一方面扩大了键值数据库的受用面，但另一方面，也给键值数据库的性能、运行模型提供了不同的设计选择，带来了一些潜在的问题。

举个例子，当客户端发送一个命令（PUT hello world）后，该命令会被封装在网络包中发送给键值数据库。键值数据库网络框架接收到网络包，并按照相应的协议进行解析之后，就可以知道，客户端想写入一个键值对，并开始实际的写入流程。

此时，我们会遇到一个系统设计上的问题，简单来说，就是网络连接的处理、网络请求的解析，以及数据存取的处理，是用一个线程、多个线程，还是多个进程来交互处理呢？该如何进行设计和取舍呢？我们一般把这个问题称为 I/O 模型设计。不同的 I/O 模型对键值数据库的性能和可扩展性会有不同的影响。举个例子，如果一个线程既要处理网络连接、解析请求，又要完成数据存取，一旦某一步操作发生阻塞，整个线程就会阻塞住，这就降低了系统响应速度。如果我们采用不同线程处理不同操作，那么，某个线程被阻塞时，其他线程还能正常运行。但是，不同线程间如果需要访问共享资源，那又会产生线程竞争，也会影响系统效率，这又该怎么办呢？所以，这的确是个“两难”选择，需要我们进行精心的设计。你可能经常听说 Redis 是单线程，那么，Redis 又是如何做到“单线程，高性能”的呢？后面我再和你好好聊一聊。

6、如何定位键值对位置

当键值对数据库接收到服务请求，需要查找所要操作的键值对是否存在，这依赖于键值数据库的索引模块。索引的作用是让键值数据库根据 key 找到相应 value 的存储位置，进而执行操作。

索引的类型有很多，常见的有哈希表、B+ 树、字典树等。不同的索引结构在性能、空间消耗、并发控制等方面具有不同的特征。如果你看过其他键值数据库，就会发现，不同键值数据库采用的索引并不相同，例如，Memcached 和 Redis 采用哈希表作为 key-value 索引，而 RocksDB 则采用跳表作为内存中 key-value 的索引。

一般而言，内存键值数据库（例如 Redis）采用哈希表作为索引，很大一部分原因在于，其键值数据基本都是保存在内存中的，而内存的高性能随机访问特性可以很好地与哈希表 O(1) 的操作复杂度相匹配。

对于 Redis 而言，很有意思的一点是，它的 value 支持多种类型，当我们通过索引找到一个 key 所对应的 value 后，仍然需要从 value 的复杂结构（例如集合和列表）中进一步找到我们实际需要的数据，这个操作的效率本身就依赖于它们的实现结构。Redis 采用一些常见的高效索引结构作为某些 value 类型的底层数据结构，这一技术路线为 Redis 实现高性能访问提供了良好的支撑。

7、不同操作的具体逻辑是怎样的？

• 对于 GET/SCAN 操作而言，此时根据 value 的存储位置返回 value 值即可；
• 对于 PUT 一个新的键值对数据而言，SimpleKV 需要为该键值对分配内存空间；
• 对于 DELETE 操作，SimpleKV 需要删除键值对，并释放相应的内存空间，这个过程由分配器完成。

8、如何进行内存分配

常用的内存分配器 glibc 的 malloc 和 free，这样使得键值数据库不需要特别考虑内存空间的管理问题。

但是，键值数据库的键值对通常大小不一，glibc 的分配器在处理随机的大小内存块分配时，表现并不好。一旦保存的键值对数据规模过大，就可能会造成较严重的内存碎片问题。

因此，分配器是键值数据库中的一个关键因素。对于以内存存储为主的 Redis 而言，这点尤为重要。Redis 的内存分配器提供了多种选择，分配效率也不一样。

9、如何实现重启后快速提供服务？

键值数据库虽然依赖于内存保存数据，提供快速访问，但是，也希望其重启后能快速重新提供服务，因此需要增加持久化功能。

一种方式是，对于每一个键值对，键值数据库都对其进行落盘保存，这虽然让数据更加可靠，但是，因为每次都要写盘，对键值对数据库的性能会受到很大影响。

另一种方式是，键值数据库只是周期性地把内存中的键值数据保存到文件中，这样可以避免频繁写盘操作的性能影响。但是，一个潜在的代价是数据仍然有丢失的风险。