Redis(一)原理及基本命令(柔性数组)
Redis(二)网络协议和异步方式(乐观锁&悲观锁)
Redis(三)存储原理与数据模型(hash冲突、渐进式rehash)
Redis跳表
redis是基于reactor模式设计的内存数据库。
使用reactor模型的好处:
使用 I/O 多路复用来实现对外部请求的处理,可以减少网络连接和读写等待时间。
在网络 I/O 操作中能并发处理大量的客户端请求,实现高吞吐率,高并发。
redis 单线程是指其网络事件处理模块 是单线程,即指令的执行是在单线程上操作。但是其包括IO读取,网络IO操作都是通过多线程执行的。
执行模块单线程的优点:
- 采用单线程,避免了不必要的上下文切换和竞争条件;不存在多线程导致的切换而消耗CPU
- 不用考虑各种锁的问题,不存在加锁和释放锁的的操作,没有因为可能出现的死锁而导致的性能消耗
- 简单可维护,多线程模式会使得程序的编写更加复杂和麻烦,单线程实现易实现
原因:
redis pipeline 是一个客户端提供的机制,指将多个命令打包同时发送给redis服务端.
例如多个连续的incr指令,使用pipeline(管道)后,多个连续的incr指令会被统一写到发送缓冲区,只会花费一次网络来回开销,这个开销会随着n数值的增大,大幅减少网络io开销,从而提升整体服务的性能。
但是当发送缓冲区或者接收缓冲区满了的话,也会导致阻塞。导致客户端负载过重,整个请求时间变长。所以在使用pipeline时需要注意发送指令的大小。
事务:用户定义一系列数据库操作,这些操作视为一个完整的逻辑处理工作单元,要么全部执行,要么全部不执行,是不可分割的工作单元。
事务提供了一种将多个命令打包,然后一次性有序(FIFO)执行的机制
功能 | Redis | Mysql |
---|---|---|
开启事务 | MULTI | begin / start transaction |
提交事务 | EXEC | commit |
取消事务 | DISCARD | rollback |
监听 | WATCH |
MySQL中没有监听功能;watch是redis独有的其功能是检测 key 的变动;
若在事务执行中,key 变动则取消事务;需要在事务开启前调用,乐观锁实现(cas机制);若被取消则事务返回 nil;
乐观锁&悲观锁
悲观锁在执行时,会将其他处理数据库的请求拦截,使其他请求等待。 在mysql中增删改操作、select for update 语句都是悲观锁
乐观锁在执行时,不会将数据锁住,其他客户端可以修改数据,当数据被修改了,本地就不更新,返回失败。
可以从例子看出上述事务逻辑是乐观锁实现,失败需要重试,增加特务逻辑的复杂度。
监控机制触发:所有对数据库进行修改的命令,如SET、LPUSH、SADD、ZREM、DEL、FLUSHDB等,在执行之后都会调用multi.c/touchWatchKey函数对watched_keys字典进行检查,查看是否有客户端正在监视刚刚被命令修改过的key,有的话touchWatchKey函数会将监视的客户端的REDIS_DIRTY_CAS标识打开,表示该客户端事物安全性已经被破坏。
判断事物是否安全 :当服务器接收到一个客户端发来的EXEC命令时,服务器将会根据这个客户端是否打开REDIS_DIRTY_CAS标识来决定是否执行事物。
在实际工程应用中一般不会用到上述的事务操作。更多的使用脚本执行,例如lua 脚本。在了解lua脚本之前先熟悉一下ACID特性。
A 原子性:事务是一个不可分割的工作单位,事务中的操作要么全部成功,要么全部失败;redis 不支持回滚;即使事务队列中的某个命令在执行期间出现了错误,整个事务也会继续执行下去,直到将事务队列中的所有命令都执行完毕为止。
C 一致性:事务的前后,所有的数据都保持一个一致的状态,不能违反数据的一致性检测;这里的一致性是指预期的一致性而不是异常后的一致性;所以 redis 也不满足;这个争议很大:redis 能确保事务执行前后的数据的完整约束;但是并不满足业务功能上的一致性;比如转账功能,一个扣钱一个加钱;可能出现扣钱执行错误,加钱执行正确,那么最终还是会加钱成功;系统凭空多了钱;
I 隔离性:各个事务之间互相影响的程度;redis 是单线程执行,天然具备隔离性;
D 持久性:redis 只有在 aof 持久化策略的时候,并且需要在 redis.conf 中 appendfsync=always 才具备持久性;实际项目中几乎不会使用 aof 持久化策略;
redis天然只满足一致性和隔离性。原子性和持久性不满足。
lua脚本具备原子性;不具备一致性,出现错误不会回滚。同样满足隔离性;持久性不满足。 lua 脚本实现原子性;
redis 中加载了一个 lua 虚拟机;用来执行 redis lua 脚本;
redis lua 脚本的执行是原子性的;当某个脚本正在执行的时候,不会有其他命令或者脚本被执行;
lua 脚本当中的命令会直接修改数据状态;
测试使用
EVAL script numkeys key [key ...] arg [arg ...]
# 线上使用
EVALSHA sha1 numkeys key [key ...] arg [arg ...]
注意:如果项目中使用了 lua 脚本,可以不需要使用上面的事务命令;
例如:
redis执行命令是在单线程上执行的,且命令结果需要立即返回,所以采用同步IO形式。
但是有些Redis命令不需要等待执行结果,就可以直接返回,例如键值对的删除、清楚数据库等,这类操作就可以采用异步机制。
Redis提供了异步线程机制:
Redis启动时会启动一些子线程,让后将一些任务交给子线程在后台完成,而不需要主线程去执行。这样就可以减轻主线程压力,避免一些阻塞任务降低redis性能。
主线程接收到操作 1 后,操作 1 并不用给客户端返回具体的数据,主线程可以把它交给后台子线程来完成,同时只要给客户端返回一个“OK”结果就行。
在子线程执行操作 1 的时候,客户端又向 Redis 实例发送了操作 2,客户端是需要使用操作 2 返回的数据结果的,如果操作 2 不返回结果,那么客户端将一直处于等待状态。
操作 1 就不算关键路径上的操作,因为它不用给客户端返回具体数据,所以可以由后台子线程异步执行。
操作 2 需要把结果返回给客户端,它就是关键路径上的操作,所以主线程必须立即把这个操作执行完。
Redis 主线程启动后,会使用操作系统提供的 pthread_create 函数创建 3 个子线程,负责AOF日志写操作、键值对删除、文件关闭的异步执行。
主线程通过一个链表形式的任务队列和子线程进行交互。
详细内容参考Redis的异步机制是什么