关于Redis的知识点,你都学会了吗?

目录

  • Redis的介绍、优缺点、使用场景
  • Linux中的安装
  • 常用命令
  • Redis各个数据类型及其使用场景
  • Redis字符串(String)
  • Redis哈希(Hash)
  • Redis列表(List)
  • Redis集合(Set)
  • Redis有序集合(sorted set)
  • Redis - 瑞士军刀
  • 慢查询
  • pipeline流水线
  • 发布订阅
  • bitmap
  • HyperLogLog算法
  • GEO
  • Redis持久化,数据备份与恢复
  • RDB
  • AOF
  • SpringBoot + Jedis + 1主2从3哨兵 实现Redis的高可用
  • SpringBoot + Jedis + Redis Cluster代码案例
  • 高可用
  • 主从复制
  • Redis事务

Redis的介绍、优缺点、使用场景

  • Redis是什么: 开源的,基于键值的存储服务系统,支持多种数据类型,性能高,功能丰富

特性(主要有8个特性):

  • 速度快:官方给出的结果是10W OPS,每秒10W的读写(为什么是10W,因为内存的相应时间是100纳秒-10万分之一秒)。数据存储在内存中;使用C语言开发;Redis使用单线程,减少上下文切换。本质原因是计算机存储介质的速度,内存比硬盘优几个数量级)。MemoryCache可以使用多核,性能上优于Redis。
  • 持久化:Redis所有的数据保持在内存中,对数据的更新将异步地保存到磁盘上。断掉,宕机? RDB快照/AOF日志模式来确保。MemoryCache不提供持久化
  • 多种数据结构:Redis提供字符串,HashTable, 链表,集合,有序集合;另外新版本的redis提供BitMaps位图,HyperLogLog超小内存唯一值计数,GEORedis3.2提供的地理位置定位。相比memocache只提供字符串的key-value结构
  • 支持多种编程语言:Java,PHP,Ruby,Lua,Node
  • 功能丰富: 发布订阅,支持Lua脚本,支持简单事务,支持pipline来提高客户端的并发效率
  • 简单:单机核心代码23000行,让开发者容易吃透和定制化;不依赖外部库;单线程模型
  • 主从复制:主服务器的数据可以同步到从服务器上,为高可用提供可能
  • 高可用、分布式:2.8版本后提供Redis-Sentinel支持高可用;3.0版本支持分布式
  • 典型应用场景:
  • 缓存系统:缓存一些数据减少对数据库的访问,提高响应速度
  • 计数器:类似微博的转发数,评论数,incr/decr的操作是原子性的不会出错
  • 消息队列系统:发布订阅的模型,消息队列不是很强
  • 排行版: 提供的有序集合能提供排行版的功能,例如粉丝数,关注数
  • 实时系统:利用位图实现布隆过滤器,秒杀等

安装

  • Linux中安装
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
tar -zxvf redis-5.0.7.tar.gz
mv redis-5.0.7 /usr/local/redis 不需要先创建/usr/local.redis文件夹
cd /usr/local/redis
make
make install
vi redis.conf
* bind 0.0.0.0 开发访问
* daemonize yes 设置后台运行
redis-server ./redis.conf 启动
redis-cli 进入命令行,进行简单的命令操作
vi redis.conf
> requirepass password 修改密码
redis-cli 再次进入cmd
> shutdown save 关闭redis,同时持久化当前数据
redis-server ./redis.conf 再次启动redis
redis-cli 进入命令行
> auth password
将redis配置成系统服务,redis/utils中自带命令,我们只需修改参数
/usr/local/redis/utils/./install_server.sh
[root~ utils]# ./install_server.sh
Welcome to the redis service installer
Please select the redis port for this instance: [6379] 默认端口不管
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] /usr/local/redis/redis.conf 修改配置文件路径
Please select the redis log file name [/var/log/redis_6379.log] /usr/local/redis/redis.log 修改日志文件路径
Please select the data directory for this instance [/var/lib/redis/6379] /usr/local/redis/data 修改数据存储路径
Please select the redis executable path [/usr/local/bin/redis-server]
Selected config:
Port           : 6379
Config file    : /usr/local/redis/redis.conf
Log file       : /usr/local/redis/redis.log
Data dir       : /usr/local/redis/data
Executable     : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
chkconfig --list | grep redis 查看redis服务配置项
redis_6379      0:off   1:off   2:on    3:on    4:on    5:on    6:off
服务名是redis_6379

可执行文件说明

  • redis-server: Redis服务器,启动Redis的
  • redis-cli: Redis命令行客户端连接
  • redis-benchmark: 对Redis做性能测试
  • redis-check-aof: AOF文件修复工具
  • redis-check-dump: RDB文件检查工具
  • redis-sentinel: Sentinel服务器(2.8以后)
  • 启动方式
  • redis-server: 最简单的默认启动,使用redis的默认参数
  • 动态参数启动:redis-server –port yourorderpoint
  • 配置文件的方式: redis-server configpath
  • 比较:
  • 生产环境选择配置启动;单机多实例配置文件可以选择配置文件分开
  • Redis客户端返回值
  • 状态回复:ping->pong
  • 错误恢复:执行错误的回复
  • 整数回复:例如incr会返回一个整数
  • 字符串回复: get
  • 多行字符串回复:mget
  • 常用配置
  • daemonize: 是否是守护进程(y/n)
  • port端口:默认是6379
  • logfile:Redis系统日志
  • dir:Redis工作目录
  • 常用命令:在线练习http://try.redis.io/
redis-cli -h x.x.x.x -p x 连接
auth "password" 验证密码
redis-cli --raw可以避免中文乱码
exit 退出
select index 切换到指定的数据库
keys * 显示所有key,如果键值对多不建议使用,keys会遍历所有key,可以在从节点使用;时间复杂度O(N)
dbsize 算出所有的key的数量,只是数量;时间复杂度O(1)
exists key key是否存在,存在返回1,不存在返回0;时间复杂度O(1)
incr key 将key的值加一,是原子操作
decr key 将key的值加一,会出现复数,是原子操作
del key 删除key,删除成功返回1,失败返回0;时间复杂度O(1)
expire key seconds 设置过期时间,过期之后就不存在了;时间复杂度O(1)
ttl key 查看key剩余的过期时间,key不存在返回-2;key存在没设置过期时间返回-1;(TTL Time To Live)
persist key 去掉key的过期时间,再查看ttl key,返回值是-1,表示key存在并且没有设置过期时间
type key 查看类型;时间复杂度O(1)
config get * 获取配置信息
set key value插入值
sadd myset 1 2 3 4 插入set
get key获取值
del key删除key
cat redis.conf | grep -v "#" | grep -v "^$" 查看配置文件,去除所有的#,去除所有的空格
setnx key value #key不存在,才设置
set key value xx #可以存在,才设置
set key value [exporation EX seconds | PX milliseconds] [NX|EX]
mget key1 key2 key3 批量获取 1次mget=1次网络时间+n次命令时间;时间复杂度O(n)
mset key1 value1 key2 value2 批量插入;时间复杂度O(n)
n次get = n次网络时间 + n次命令时间,mget一次就能完成,省去大量的网络时间
getset key newvalue # set key newvalue并返回旧的value
append key value #将value追加到旧的value
strlen key #获取value的长度,中文占2个字节
incrbyfloat key 3.5 #增加key对应的值
set/get/del, incr(自增1)/decr(自减1)/incrby(incrby key n自增n)/decrby
getrange key start end #获取value从start到end的值
setrange key index value #设置指定下标为一个新的值
hset key field value #给key的field设置值
hget key field #获取key的field的值
hdel key field #删除key的field的值
hgetall key #获取key的所有值
hexists key field # 判断key的field是否存在
hlen key #获取key field的数量
hmset key field1 value1 field2 value2
hmget key field1 field2
hsetnx/hincrby/hdecry/hincrbyfloat
lpush key value1 value2...valueN #从左边插入
rpush key value1 value2...valueN #从右边插入
linsert key before|after value newValue
rinsert key before|after value newValue
lpop key #从左边弹出一个item
rpop key #从右边弹出一个item
lrem key count value #若count等于0或者不填,表示删除所有的value值相等的item;若count>0,表示从左到右删除最多count个value相等的item;若count<0,表示从右到左,删除最多Math.abs(count)个value相等的项
ltrim key start end #按照索引范围修剪列表,可以用来慢删除,因为全删除可能会阻塞redis
lrang key start end #获取key中从start到end的值
lindex key index #取第index的值
llen key #算出列表的长度
lset key index newValue #修改index的值为newValue
blpop key timeout #lpop阻塞版本,timeout是阻塞时间,timeout=0表示死等,lpop会立马返回,有时候数据更新不那么及时,或者消息队列中消息未及时处理,我们可以使用这个
brpop key timeout
lpush + LPOP = STACK
lpush + RPOP = QUEUE
lpush  + ltrim = 有序的集合
lpush + rpop = 消息队列
sadd key value #不支持插入重复元素,失败返回0
srem key element #删除集合中的element元素
smembers key #查看集合元素
sinter key1 key2 #取出相同:交集
sdiff key1 key2 #取出key1中key2没有的元素:差集
sunion key1 key2 #取出二者所有的元素:并集
sdiff|sinter|sunion store key #将结果存到key中,有时候计算一次耗时
scard key #计算集合大小
sismember key element #判断element是否在集合中
srandmember #返回所有元素,结果是无序的,小心使用,可能结果很大
smembers key #获取集合中的所有元素
spop key #从集合中随机弹出一个元素
scan
SADD = Tagging
SPOP/SRANDMEMBER = Random item
SADD + SINTER = Social Graph
zadd key score element #添加score和element O(logN): 使用xx和跳表的数据结构
zrem key element #删除元素
zscore key element #返回元素的分数
zincrby key increScore element #增加或减少元素分数
zcard key #返回元素的总个数
zrank key element #获取element的排名
zrange key start end [withscores] #返回指定索引范围内的升序元素
zrangebyscore key minScore maxScore [withscore] #返回分数在minScore和maxScore之间的元素
zcount key minScore maxScore #返回有序集合内在指定分数范围内的个数
zremrangebyrank key start end #删除指定排名内的元素
zremrangebyscore key minScore maxScore #删除指定分数内的元素
zrevrang/zrevrange/集合间的操作zsetunion
info replication 查看分片,能够获取到主从的数量和状态
config get databases 获取所有数据库

数据结构和内部编码

  • Reids支持5中存储的数据格式: String, Hash, List, Set, Sorted Set

String

  • redis 的 string 可以包含任何数据。比如jpg图片或者序列化的对象,最大能存储 512MB。
  • 使用场景:缓存/计数器/分布式锁/Web集群session共享/分布式系统全局序号(不用每次都拿,一次拿1000个放到内存中)…
  • 常用命令:
  • 实战:实现分布式的id生成器,可以使用incr的思路,但是实际中会比这复杂

hash

  • 是一个键值(key=>value)对集合。Redis hash 是一个 string 类型的 field 和 value 的映射表,hash 特别适合用于存储对象。
  • 实战:统计用户主页的访问量, hincrby user:1:info pageview count
  • Redis集群架构下不太适合

list

  • Redis 列表是简单的字符串列表,按照插入顺序排序。列表最多可存储 232 - 1 元素 (4294967295, 每个列表可存储40多亿)。
  • 实战:微博按时间顺序展示消息

set

  • 是 string 类型的无序集合,不允许插入重复元素,插入重复元素失败返回0。集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是 O(1)。
  • 实战:抽奖系统(量不是很大的时候);like,star可以放到集合中;标签tag

zset

  • 有序集合:有序且无重复元素,和 set 一样也是string类型元素的集合,且不允许重复的成员。不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。zset的成员是唯一的,但分数(score)却可以重复。
  • 实战:排行榜

Redis客户端: Java的Jedis(Socket通信),Python的redis-py

瑞士军刀

慢查询

  • 生命周期

两点说明:

  1. 慢查询发生在第3阶段,比如keys *等这些需要扫描全表的操作
  2. 客户端超时不一定慢查询,但慢查询是客户端超时的一个可能因素

两个配置

  • slowlog-log-slower-than=n(微秒):命令执行时间超过x微秒,会被丢到一个固定长度的慢查询queue中;n<0表示不配置
  • slowlog-max-len: 先进先出的队列,固定长度,保存在内存中(重启redis会消失)

配置方法

默认值

  • config get slowlog-max-len=128
  • config get slowlog-log-slower-than=10000

修改配置文件重启

动态配置

  • config set slowlog-max-len 1000
  • config set slowlog-log-slower-than 1000

常用命令

  • slowlog get [n]:获取慢查询队列
  • slowlog len: 获取慢查询队列的长度
  • slowlog reset: 清空慢查询队列

运维经验

  • slowlog-max-len不要设置过大,默认10ms,通常设置1ms,根据QPS来设置
  • slowlog-log-slower-than不要设置过小,通常设置1000左右
  • 定期持久化慢查询

pipeline流水线(批量操作)

当遇到批量网络命令的时候,n次时间=n次网络时间+n次命令时间。举个例子,北京到上海的距离是1300公里,光速是3万公里/秒,假设光纤传输速度是光速的2/3,也就是万公里/秒,那么一次命令的传输时间是 1300/20000*2(来回)=13毫秒, 什么是pipeline流水线,1次pipeline(n条命令)=1次网络时间+n次命令时间;pipeline命令在redis服务端会被拆分,因此pipeline命令不是一个原子的命令。注意每次pipeline携带数据量;pipeline每次只能作用在一个Redis节点上;M操作和pipeline的区别,M(mset)操作是redis的原生命令,是原子操作,pipeline不是原子操作

for(int i = 0; i < 10000; i++>) {
    jedis.hset(key, field, value); //1万次hset差不多要50秒
for(0->100) {
  Pipeline pipeline = jedis.pipelined();
  for(0->100) {
    pipeline.hset(key,field,value);
  }
  pipeline.syncAndReturnAll(); //拆分100次,每次100个命令,大概需要0.7秒
}

发布订阅:类似生产者消费者模型

  • 角色:发布者(publisher),频道(channel),订阅者(subscriber); 发布者将消息发布到频道中,订阅者订阅相关的频道;
  • API: publish/subscribe/unsubscribe
  • publish channel message : publish sohu:tv “hello world”
  • subscribe sohu:tv
  • unsubscribe [channel]
  • psubscribe [pattern] #订阅模式 sohu*

bitmap:位图:数据量很大的时候节省存储内存,数据量小了,不节省

hyperloglog(算法,数据结构):

  • 极小空间完成独立数量统计,本质是个string
  • api: pfadd key element[s]:向hyperloglog添加元素 pfcount key[s]:计算hyperloglog的独立总数 pfmerge key1 key2合并

GEO: 3.2提供的用于计算地理位置信息;数据类型是zset,可以使用zset的删除命令

  • 使用场景:微信摇一摇看附近好友
  • api:
  • geo key longitude latitude member #增加地理位置信息
  • geopos key member[n] #获取地理位置信息
  • geodist key member1 membe2 [unit] m米 km千米 mi英里 ft尺 获取两地位置的距离
  • georadius #算出指定范围内的地址位置信息的集合,语法复杂了点
  • 总结下Redis数据结构和类型的常见用法
类型 简介 特性 使用场景
String 二进制安全 可以包含任何数据,比如JPG图片或者序列化的对象,一个键最大能存储512M
Hash 键值对集合,即编程中的Map 适合存储对象,并且可以向数据库中那样update一个属性(Memcache中需要将字符串反序列化成对象之后再修改属性,然后序列化回去) 存取/读取/修改 用户信息
List 双向链表 增删快,提供了操作某一元段元素的API 1. 最新消息,按照时间线显示2. 消息队列
Set 哈希表实现,元素不重复 添加/删除/修改的复杂度都是O(1),为集合提供求交集/并集/差集的操作 1. 打label/tag,如文章2. 查找共同好友3. 抽奖系统
Zset 将Set中的元素增加一个double类型的权重score,按照score排序 数据插入集合就好序了 排行榜
Hyperloglog 本质是string 极小空间完成独立数据量统计 统计基数,不完全正确
GEO 数据类型是zset 存储地理位置信息,并提供计算距离等操作 微信摇一摇查看附近好友
Bitmap 位图 数据量很大的时候节省存储内存,数据量小了不节省
  • String 简单动态字符串 Simple Dynamic String, SDS
Redis没有直接使用C语言的传统字符串表示,而是自己构建了一种名为简单动态字符串(Simple Dynamic String, SDS)的抽象类型,并将SDS用作Redis的默认字符串表示。
每个sds.h/sdshdr结构表示一个SDS值:
struct sdshdr {
  int len; // 记录buf数组中已经使用的字节数量
  int free; // 记录buf数组中未使用字节的数量
  char buf[]; // 字节数组,用于保存字符串。SDS遵循C字符串以空字符结尾的惯例
}

Redis持久化

  • 持久化的作用:redis所有数据保存在内存中,对数据的更新将异步地保存到磁盘上。
  • 主流数据库持久化实现方式:快照(MySQL Dump/Redis RDB),写日志(MySQL Binlog/Redis AOF)

RDB:

  • 创建RDB文件(二进制文件)到硬盘中,启动后载入RDB文件到内存

三种触发机制

  • save(同步) - 会产生阻塞
  • 文件策略:如存在老的RDB文件,新的替换老的,新的会先生成到一个临时文件
  • bgsave(异步) - 不会阻塞
  • 客户端执行bgsave之后,redis会使用linux的一个fork()命令生成主进程的一个子进程(fork的操作会执行一个内存页的拷贝,使用copy-on-write策略),子进程会创建RDB文件,创建完毕后将成功的消息返回给redis。fork()出来的子进程执行快的话不会阻塞主进程,否则也会阻塞redis,阻塞的实际点就是生成出来这个子进程。由于是异步,在创建的过程中还有其他命令在执行,如何保证RDB文件是最新的呢?在数据量大的时候bgsave才能突出优点。

命令savebgsaveIO类型同步异步阻塞是是(阻塞发生在fork子进程复杂度O(n)O(n)优点不会消耗额外内存不阻塞客户端命令缺点阻塞客户端命令需要fork,消耗内存

  • 自动触发:多少秒内有多少changes会异步(bgsave)生成一个RDB文件,如60秒内有1W条changes,默认的规则,可以改;不是很好吧,无法控制频率;另外两条是900秒内有1条changes, 300秒内有10条changes;

配置

  • dbfilename dump.rdb
  • dir ./
  • stop-writes-on-bgsave-error yes 当bgsave发生错误是停止写RDB文件
  • rdbcompression yes 采用压缩格式
  • rdbchecksum yes 采用校验和

其他不能忽视的点:

全量复制;debug reload;shutdown save会执行rdb文件的生成

AOF:

  • RDB现存问题:耗时,耗性能(fork,IO),不可控(突然宕机)
  • AOF:redis中的cmd会先刷新到缓冲区,然后更具配置AOF的策略,异步存追加到AOF文件中,发生宕机后,可以通过- AOF恢复,基本上数据是完整的
  • AOF的三种策略(配置的三种属性)
  • always:来一条命令写一条;不丢失数据,IO开销较大
  • everysec:每秒把缓冲区fsync到AOF文件;丢1秒数据
  • no:操作系统决定什么时候把缓冲区同步到AOF就什么时候追加;不用配置,但是不可控,取决于操作系统

AOF重写

  • 如果AOF文件很大的话,恢复会很慢,AOF的重写是优化一些命名,使其变成1条,对于过期数据没必要Log,本质是把过期的没有用的,重复的过滤掉,以此减少磁盘占用量,加速恢复。极端的例子,1亿次incr,实际只需要set counter n就够了
  • 重写的两种方式
  • bgrewriteaof:异步执行,redis fork出一个子进程,然后进行AOF重写
  • AOF重写配置
  • auto-aof-rewrite-min-size: AOF文件到达多大的时候才开始重写
  • auto-aof-rewrite-percentage: AOF文件的增长率到达了多大才开始重写

统计

  • aof_current_size AOF当前尺寸 字节
  • aof_base_size AOF上次重启和重写的尺寸 字节,方便自动重写判断

重写触发机制(同时满足如下两条)

  • aof_current_size > auto-aof-rewrite-min-size
  • (aof_current_size - aof_base_size) / aof_base_size > auto-aof-rewrite-percentage

其他配置

  • appendonly yes
  • appendfilename “”
  • appendfsync everysec
  • dir /xx
  • no-appendfsync-on-rewrite yes AOF在重启之后恢复,要权衡是否开启AOF日志追加的功能,这个时候IO很大,如果设置为yes,也就意味着在恢复之前的日志数据会丢失

RDB & AOF最佳策略:RDB优先于AOF先启用

  • RDB:建议关掉,集中管理,在从节点开RDB
  • AOF:建议开启,每秒刷盘
  • 最佳策略:小分片(log文件分片)

常见问题

  • fork操作:是一个同步操作,做一个内存页的拷贝;与内存量息息相关,内存越大,耗时越长;执行info命令,有个latest_fork_usec的值,看下上次fork执行耗时
  • 进程外开销:
  • CPU:RDB AOF文件生成,属于CPU密集型操作(不要和CPU密集型应用部署在一起,减少RDB AOF频率);内存:fork内存开销;硬盘:IO开销大,选用SSD磁盘
  • AOF追加阻塞:主线程将命令刷到AOF缓冲区,同步线程同步命令到硬盘,同时主线程会对比上次fsync的时间,如果大于2秒就阻塞主线程,否则不阻塞,主线程这么做是为了达到每秒刷盘的目的,让子线程完成AOF,以此来达到数据同步。AOF发生阻塞怎么定位:redis日志/info persistence(aof_delayed_fsync累计阻塞次数,是累计,不好分清什么时候发生阻塞)
  • 单机多实例部署

高可用

Redis主从复制

  • 主从复制:单机故障/容量瓶颈/QPS瓶颈;一个master可以有多个slave,一个slave只能有一个master,数据必须是单流向,从master流向slave

复制的配置:

  • 使用slaeof命令,在从redis中执行slave masterip:port使其成为master的从服务器,就能从master拉取数据了;执行slaveof no one清除掉不成为从节点,但是数据不清楚;
  • 修改配置, slaveof ip port / slave-read-only yes(从节点只做都操作);配置要更改的话,要重启,所以选择的时候谨慎

全量复制

  • run_id(使用info server可以看到run_id),重启之后run_id就没有了,当从服务器去复制主服务器,主服务器run_id会在从服务器上做一个标识,当从服务器发现主服务器的run_id发生了变化,说明主服务器发生了变化(重启或者什么的),那么从服务器就要把主服务器的数据都同步过来
  • 偏移量:部分复制中的一个依据,后面说
  • 解析下上面的全量复制的过程,slave向master发送psync的命令要去master全量复制数据(PSYNC ,其中?表示我不知道master的runId啊,第一次连嘛,-1表示我都要,这时候slava咱啥也不知道),master大人收到了小弟的请求之后,大方的把自己的runId/offset发了过去,小弟收到后先存下来;在master大人把自个的信息发给小弟之后,立马投入了创建快照RDB的工作,一个bgsave命令立马开工,RDB生产了就发给slave;咦,细心的我们发现你这不对啊,你master创建快照到创建完成这之间新增的数据咋办,master吭吭了两声,我在开始快照的那一刻,后期的所有写命令都额外往buffer中存了一份,来保证我给你的是完整的,当我发送完RDB之后,立马给你发buffer;slave小弟内心对master大人产生了膜拜之情,收到了RDB/buffer之后,先把自己的老数据flush掉,然后load RDB,把最新的buffer刷一遍,分分钟让自己向master看齐。
  • 开销:bgsave时间, RDB文件网络传输时间,从节点清空数据时间,从节点加载RDB的时间,可能的AOF重写时间
  • 解释下上面的部分复制的过程,当遇到网络抖动,那这段时间内数据在slave上就会发生丢失,那么这些数据slave是不知道的,在2.8之前redis会重新做一次全量复制,但是很显然这样做开销很大,2.8之后提出部分复制的功能;当matster发现slave连接不上的时候,master在进行写操作的时候,也会往缓冲区写,等到下一次slave连上之后,slave会发送一条pysnc {offset}{runId}的命令,其中offset是slave自己的,相当于告诉master我的偏移量是多少,master判断slave的offset在缓冲区内(缓冲区有start/end offset)就向slave发送continue命令,然后把这部分数据发送给slave;当master发现slave这个offset偏移量很大的时候,也就意味着slave丢失了很多数据,那么就进行一次全量复制

故障处理:

  • master/slave宕机的情况,主从模式没有实现故障的完全自动转移
  • 常见问题:
  • 读写分离:读流量分摊到从节点,可能遇到复制数据延迟,也可能读到过期的数据,从节点故障怎么办
  • 主从配置不一致:主从maxmemory不一致,可能会丢失数据;主从内存不一致
  • 规避全量复制:第一次不可避免;小主节点,低峰处理(夜间);主节点重启后runId发生了变化
    规避复制风暴
  • 单机主节点复制风暴,如果是1主N从,当master重启之后,所有的slave都会发生全量复制,可想而知这样非常容易造成redis服务的不可用

Redis事务

Redis 事务可以一次执行多个命令, 并且带有以下三个重要的保证:

  • 批量操作在发送 EXEC 命令前被放入队列缓存。
  • 收到 EXEC 命令后进入事务执行,事务中任意命令执行失败,其余的命令依然被执行。
  • 在事务执行过程,其他客户端提交的命令请求不会插入到事务执行命令序列中。
  • Redis事务从开始到执行会经历以下三个阶段:开始事务 -> 命令入队 -> 执行事务。单个 Redis 命令的执行是原子性的,但 Redis 没有在事务上增加任何维持原子性的机制,所以 Redis 事务的执行并不是原子性的。事务可以理解为一个打包的批量执行脚本,但批量指令并非原子化的操作,中间某条指令的失败不会导致前面已做指令的回滚,也不会造成后续的指令不做。这是官网上的说明 From redis docs on transactions: It’s important to note that even when a command fails, all the other commands in the queue are processed – Redis will not stop the processing of commands.
  • Redis 通过监听一个 TCP 端口或者 Unix socket 的方式来接收来自客户端的连接,当一个连接建立后,Redis 内部会进行以下一些操作:
  • 首先,客户端 socket 会被设置为非阻塞模式,因为 Redis 在网络事件处理上采用的是非阻塞多路复用模型。
  • 然后为这个 socket 设置 TCP_NODELAY 属性,禁用 Nagle 算法
  • 然后创建一个可读的文件事件用于监听这个客户端 socket 的数据发送
  • Redis 管道技术可以在服务端未响应时,客户端可以继续向服务端发送请求,并最终一次性读取所有服务端的响应。管道技术最显著的优势是提高了 redis 服务的性能。

Redis 分区

  • 分区是分割数据到多个Redis实例的处理过程,因此每个实例只保存key的一个子集。

分区的优势:

  • 通过利用多台计算机内存的和值,允许我们构造更大的数据库。
  • 通过多核和多台计算机,允许我们扩展计算能力;通过多台计算机和网络适配器,允许我们扩展网络带宽。

分区的不足:

  • 涉及多个key的操作通常是不被支持的。举例来说,当两个set映射到不同的redis实例上时,你就不能对这两个set执行交集操作。
  • 涉及多个key的redis事务不能使用。
  • 当使用分区时,数据处理较为复杂,比如你需要处理多个rdb/aof文件,并且从多个实例和主机备份持久化文件。
  • 增加或删除容量也比较复杂。redis集群大多数支持在运行时增加、删除节点的透明数据平衡的能力,但是类似于客户端分区、代理等其他系统则不支持这项特性。然而,一种叫做presharding的技术对此是有帮助的。
  • 分区类型:Redis 有两种类型分区。 假设有4个Redis实例 R0,R1,R2,R3,和类似user:1,user:2这样的表示用户的多个key,对既定的key有多种不同方式来选择这个key存放在哪个实例中。也就是说,有不同的系统来映射某个key到某个Redis服务,关注+转发后,私信【Redis】获取300多页的Redis实战学习笔记。

范围分区

  • 最简单的分区方式是按范围分区,就是映射一定范围的对象到特定的Redis实例。比如,ID从0到10000的用户会保存到实例R0,ID从10001到 20000的用户会保存到R1,以此类推。这种方式是可行的,并且在实际中使用,不足就是要有一个区间范围到实例的映射表。这个表要被管理,同时还需要各 种对象的映射表,通常对Redis来说并非是好的方法。

哈希分区

  • 另外一种分区方法是hash分区。这对任何key都适用,也无需是object_name:这种形式,像下面描述的一样简单:用一个hash函数将key转换为一个数字,比如使用crc32 hash函数。对key foobar执行crc32(foobar)会输出类似93024922的整数。对这个整数取模,将其转化为0-3之间的数字,就可以将这个整数映射到4个Redis实例中的一个了。93024922 % 4 = 2,就是说key foobar应该被存到R2实例中。注意:取模操作是取除的余数,通常在多种编程语言中用%操作符实现。

你可能感兴趣的:(Go,redis,数据库,缓存)