Redis协议与异步方式
redis网络层
哪条管道先构成一个完整的数据包，谁先得到处理
1 一个数据包可能由多个读事件才能组装成。
2 管道就是连接
3 人推车相当于网络线程
reactor并发处理连接，线程串行处理命令；
单reactor，一个线程同时处理命令+网路IO (mysql则是一个连接一个线程处理)
redis pipeline
redis pipeline 是一个客户端提供的，而不是服务端提供的；pipeline 不具备事务性
pipeline就是多个请求依次发送出去，然后依次接收回包
目的：节约网络传输时间
对于request操作，只是将数据写到fd对应的写缓冲区，时间非常快，真正耗时操作在读取 response；
send这是将数据写到写缓冲区，真正的发送数据是由协议栈自己完成的。
redis事务
什么是事务？
1 用户定义的一系列的数据库操作，这些操作视为一个完整的逻辑处理工作单元。
2 要么全部都执行，要么全部不执行，是不可分割的工作单元。
在什么情况下探讨事务？
有并发连接的时候
MULTI 开启事务，事务执行过程中，单个命令是入队列操作，直到调用 EXEC 才会一起执行；
redis事务是乐观锁实现，所以失败需要重试，增加业务逻辑的复杂度。
MULTI
开启事务 mysql ---- ( begin; start transaction; )
redis在开启事务之后会把所有的命令丢到一个任务队列里面，并不是立即执行。
EXEC
提交事务 mysql ---- commit
挨个执行任务队列里面的命令
DISCARD
取消事务 mysql --- rollback
WATCH
检测key的变动，若在事务执行中，key变动则取消事务；在事务开启前调用，乐观锁实现（cas）; 若被取消则事务返回 nil ;
应用 (通过事务实现原子操作)
事务实现 zpop
WATCH zset
element = ZRANGE zset 0 0
MULTI
ZREM zset element
EXEC
事务实现 加倍操作
WATCH score:10001
val = GET score:10001
MULTI
SET score:10001 val*2
EXEC
lua 脚本
lua 脚本实现原子性；
redis中加载了一个lua虚拟机；用来执行redis lua脚本；redis lua 脚本的执行是原子性的；当某个 脚本正在执行的时候，不会有其他命令或者脚本被执行；
lua脚本当中的命令会直接修改数据状态；
注意：如果项目中使用了lua脚本，不需要使用上面的事务命令；
# 从文件中读取 lua脚本内容
cat test1.lua | redis-cli script load --pipe
# 加载 lua脚本字符串 生成 sha1
> script load 'local val = KEYS[1]; return val'
"b8059ba43af6ffe8bed3db65bac35d452f8115d8" //lua脚本会生成一个散列值,以后用这个散列值取代脚本
# 检查脚本缓存中，是否有该 sha1 散列值的lua脚本
> script exists "b8059ba43af6ffe8bed3db65bac35d452f8115d8"
1) (integer) 1
# 清除所有脚本缓存
> script flush
OK
# 如果当前脚本运行时间过长，可以通过 script kill 杀死当前运行的脚本
> script kill
(error) NOTBUSY No scripts in execution right now.
EVAL
# 测试使用
EVAL script numkeys key [key ...] arg [arg ...]
redis是单线程处理数据，这个命令是将Lua脚本作为一个数据包发送过去，在执行这个数据包的过程当中不可能去执行其他的数据包，所以具备原子性。
EVALSHA
# 线上使用
EVALSHA sha1 numkeys key [key ...] arg [arg ...]
mysql存储过程不具备事务性 需要显示的调用begin commit
redis lua脚本 具备原子性
应用
# 1: 项目启动时，建立redis连接并验证后，先加载所有项目中使用的lua脚本（script load）; # 2: 项目中若需要热更新，通过redis-cli script flush；然后可以通过订阅发布功能通知所有服 务器重新加载lua脚本；
# 3：若项目中lua脚本发生阻塞，可通过script kill暂停当前阻塞脚本的执行；
ACID特性分析
A 原子性；事务是一个不可分割的工作单位，事务中的操作要么全部成功，要么全部失败；redis 不支持回滚；即使事务队列中的某个命令在执行期间出现了错误，整个事务也会继续执行下去，直到将事务队列中的所有命令都执行完毕为止。
C 一致性；事务使数据库从一个一致性状态到另外一个一致性状态；这里的一致性是指预期的一致性而不是异常后的一致性；所以redis也不满足；这个争议很大： redis 能确保事务执行前后的数据的完整约束；但是并不满足业务功能上的一致性；比如转账功能，一个扣钱一个加钱；可能出现扣钱执行错误，加钱执行正确，那么最终还是会加钱成功；系统凭空多了钱；
I 隔离性；事务的操作不被其他用户操作所打断；redis命令执行是单线程的，redis事务天然具备隔离性； lua脚本完全隔离 watch去取消事务
D 持久性；redis只有在 aof 持久化策略的时候，并且需要在 redis.conf 中 appendfsync=always 才具备持久性；实际项目中几乎不会使用 aof 持久化策略；
面试时候回答:
lua脚本满足原子性和隔离性，一致性和持久性不满足。
redis 发布订阅
为了支持消息的多播机制，redis引入了发布订阅模块；disque 消息队列
# 订阅频道
subscribe 频道
# 订阅模式频道
psubscribe 频道
# 取消订阅频道
unsubscribe 频道
# 取消订阅模式频道
punsubscribe 频道
# 发布具体频道或模式频道的内容
publish 频道 内容
# 客户端收到具体频道内容
message 具体频道 内容
# 客户端收到模式频道内容
pmessage 模式频道 具体频道 内容应用
发布订阅功能一般要区别命令连接重新开启一个连接；因为命令连接严格遵循请求回应模式；而 pubsub能收到redis主动推送的内容；所以实际项目中如果支持pubsub的话，需要另开一条连接用于处理发布订阅；
缺点
发布订阅的生产者传递过来一个消息，redis会直接找到相应的消费者并传递过去；假如没有消费 者，消息直接丢弃；假如开始有2个消费者，一个消费者突然挂掉了，另外一个消费者依然能收到 消息，但是如果刚挂掉的消费者重新连上后，在断开连接期间的消息对于该消费者来说彻底丢失 了；
另外，redis停机重启，pubsub的消息是不会持久化的，所有的消息被直接丢弃；
应用
subscribe news.it news.showbiz news.car
psubscribe news.*
publish new.showbiz 'king kiss darren'
redis异步连接
协议实现的第一步需要知道如何界定数据包：
1. 长度 + 二进制流
2. 二进制流 + 特殊分隔符
异步连接
同步连接方案采用阻塞io来实现；优点是代码书写是同步的，业务逻辑没有割裂；缺点是阻塞当前线程，直至redis返回结果；通常用多个线程来实现线程池来解决效率问题；
异步连接方案采用非阻塞io来实现；优点是没有阻塞当前线程，redis没有返回，依然可以往redis 发送命令；缺点是代码书写是异步的（回调函数），业务逻辑割裂，可以通过协程解决 （openresty，skynet）；配合redis6.0以后的io多线程（前提是有大量并发请求），异步连接 池，能更好解决应用层的数据访问性能；
redis6.0 io多线程
redis6.0版本后添加的 io多线程主要解决redis协议的压缩以及解压缩的耗时问题；一般项目中不需要开启；如果有大量并发请求，且返回数据包一般比较大的场景才有它的用武之地；
原理
int n = read(fd, buff, size);
msg = decode(buff, size); // redis io-threads
data = do_command(msg);
bin = encode(data, sz); // io-threads
send(fd, bin, sz1);开启
# 在 redis.conf 中
# if you have a four cores boxes, try to use 2 or 3 I/O threads, if you have
a 8 cores, try to use 6 threads.
io-threads 4
# 默认只开启 encode 也就是redis发送给客户端的协议压缩工作；也可开启io-threads-do-reads
yes来实现 decode;
# 一般发送给redis的命令数据包都比较少，所以不需要开启 decode 功能；
# io-threads-do-reads no
实现方案
hiredis + libevent
/* Context for a connection to Redis */
typedef struct redisContext {
const redisContextFuncs *funcs; /* Function table */
int err; /* Error flags, 0 when there is no error */
char errstr[128]; /* String representation of error when applicable */
redisFD fd;
int flags;
char *obuf; /* Write buffer */
redisReader *reader; /* Protocol reader */
enum redisConnectionType connection_type;
struct timeval *connect_timeout;
struct timeval *command_timeout;
struct {
char *host;
char *source_addr;
int port;
} tcp;
struct {
char *path;
} unix_sock;
/* For non-blocking connect */
struct sockadr *saddr;
size_t addrlen;
/* Optional data and corresponding destructor users can use to provide
* context to a given redisContext. Not used by hiredis. */
void *privdata;
void (*free_privdata)(void *);
/* Internal context pointer presently used by hiredis to manage
* SSL connections. */
void *privctx;
/* An optional RESP3 PUSH handler */
redisPushFn *push_cb;
} redisContext;
static int redisLibeventAttach(redisAsyncContext *ac, struct event_base
*base) {
redisContext *c = &(ac->c);
redisLibeventEvents *e;
/* Nothing should be attached when something is already attached */
if (ac->ev.data != NULL)
return REDIS_ERR;
/* Create container for context and r/w events */
e = (redisLibeventEvents*)hi_calloc(1, sizeof(*e));
if (e == NULL)
return REDIS_ERR;
e->context = ac;
/* Register functions to start/stop listening for events */
ac->ev.addRead = redisLibeventAddRead;
ac->ev.delRead = redisLibeventDelRead;
ac->ev.addWrite = redisLibeventAddWrite;
ac->ev.delWrite = redisLibeventDelWrite;
ac->ev.cleanup = redisLibeventCleanup;
ac->ev.scheduleTimer = redisLibeventSetTimeout;
ac->ev.data = e;
/* Initialize and install read/write events */
e->ev = event_new(base, c->fd, EV_READ | EV_WRITE, redisLibeventHandler,e);
e->base = base;
return REDIS_OK;
}
原理
hiredis 提供异步连接方式，提供可以替换网络检测的接口；
关键替换 addRead ， delRead ， addWrite ， delWrite ， cleanup ， scheduleTimer ，这几个检测接口；其他io操作，比如 connect ， read ， write ， close 等都交由hiredis来处理；
同时需要提供连接建立成功以及断开连接的回调；
用户可以使用当前项目的网络框架来替换相应的操作；从而实现跟项目网络层兼容的异步连接方 案；