Redis
(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API
。从2010年3月15日起,Redis
的开发工作由VMware
主持。从2013年5月开始,Redis
的开发由Pivotal赞助。
NoSQL (Not Only SQL)
意思是不止sql,一般指的就是非关系型的数据库。
redis便是一种NoSQL。
下载地址:redis
Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择,这里我们下载 Redis-x64-xxx.zip压缩包到 C 盘,解压后,将文件夹重新命名为 redis。
**下载地址:**http://redis.io/download,下载最新稳定版本。
[root@localhost ~]# wget https://download.redis.io/releases/redis-6.2.5.tar.gz //下载redis
[root@localhost ~]# tar xzf redis-6.2.5.tar.gz //解压
[root@localhost ~]# cd redis-6.2.5
[root@localhost redis-6.2.5]# make //安装
运行
[root@localhost redis-6.2.5]# cd src/
[root@localhost src]# ./redis-server //如果需要带配置文件的话 ./redis-server ../redis.conf
客户端启用
[root@localhost src]# ./redis-cli -p 6379 // 后面加个 -p 6379 代表连接到6379端口,默认端口号可缺省
进入reids目录
[root@localhost redis-6.2.5]# cp redis.conf redis.conf.bak //先备份下配置文件
[root@localhost redis-6.2.5]# vi redis.conf
序号 | 配置项 | 说明 |
---|---|---|
1 | daemonize no |
Redis 默认不是以守护进程的方式运行,可以通过该配置项修改,使用 yes 启用守护进程(Windows 不支持守护线程的配置为 no ) |
2 | pidfile /var/run/redis.pid |
当 Redis 以守护进程方式运行时,Redis 默认会把 pid 写入 /var/run/redis.pid 文件,可以通过 pidfile 指定 |
3 | port 6379 |
指定 Redis 监听端口,默认端口为 6379,作者在自己的一篇博文中解释了为什么选用 6379 作为默认端口,因为 6379 在手机按键上 MERZ 对应的号码,而 MERZ 取自意大利歌女 Alessia Merz 的名字 |
4 | bind 127.0.0.1 |
绑定的主机地址,需要修改为 0.0.0.0才能让外网访问 |
5 | timeout 300 |
当客户端闲置多长秒后关闭连接,如果指定为 0 ,表示关闭该功能 |
6 | loglevel notice |
指定日志记录级别,Redis 总共支持四个级别:debug、verbose、notice、warning,默认为 notice |
7 | logfile stdout |
日志记录方式,默认为标准输出,如果配置 Redis 为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给 /dev/null |
8 | databases 16 |
设置数据库的数量,默认数据库为0,可以使用SELECT 命令在连接上指定数据库id |
9 | save Redis 默认配置文件中提供了三个条件:save 900 1 save 300 10 save 60 10000分别表示 900 秒(15 分钟)内有 1 个更改,300 秒(5 分钟)内有 10 个更改以及 60 秒内有 10000 个更改。 |
指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合 |
10 | rdbcompression yes |
指定存储至本地数据库时是否压缩数据,默认为 yes,Redis 采用 LZF 压缩,如果为了节省 CPU 时间,可以关闭该选项,但会导致数据库文件变的巨大 |
11 | dbfilename dump.rdb |
指定本地数据库文件名,默认值为 dump.rdb |
12 | dir ./ |
指定本地数据库存放目录 |
13 | slaveof |
设置当本机为 slave 服务时,设置 master 服务的 IP 地址及端口,在 Redis 启动时,它会自动从 master 进行数据同步 |
14 | masterauth |
当 master 服务设置了密码保护时,slav 服务连接 master 的密码 |
15 | requirepass foobared |
设置 Redis 连接密码,如果配置了连接密码,客户端在连接 Redis 时需要通过 AUTH 命令提供密码,默认关闭 |
16 | maxclients 128 |
设置同一时间最大客户端连接数,默认无限制,Redis 可以同时打开的客户端连接数为 Redis 进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis 会关闭新的连接并向客户端返回 max number of clients reached 错误信息 |
17 | maxmemory |
指定 Redis 最大内存限制,Redis 在启动时会把数据加载到内存中,达到最大内存后,Redis 会先尝试清除已到期或即将到期的 Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis 新的 vm 机制,会把 Key 存放内存,Value 会存放在 swap 区 |
18 | appendonly no |
指定是否在每次更新操作后进行日志记录,Redis 在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis 本身同步数据文件是按上面 save 条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为 no |
19 | appendfilename appendonly.aof |
指定更新日志文件名,默认为 appendonly.aof |
20 | appendfsync everysec |
指定更新日志条件,共有 3 个可选值:no:表示等操作系统进行数据缓存同步到磁盘(快)always:表示每次更新操作后手动调用 fsync() 将数据写到磁盘(慢,安全)everysec:表示每秒同步一次(折中,默认值) |
21 | vm-enabled no |
指定是否启用虚拟内存机制,默认值为 no,简单的介绍一下,VM 机制将数据分页存放,由 Redis 将访问量较少的页即冷数据 swap 到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析 Redis 的 VM 机制) |
22 | vm-swap-file /tmp/redis.swap |
虚拟内存文件路径,默认值为 /tmp/redis.swap,不可多个 Redis 实例共享 |
23 | vm-max-memory 0 |
将所有大于 vm-max-memory 的数据存入虚拟内存,无论 vm-max-memory 设置多小,所有索引数据都是内存存储的(Redis 的索引数据 就是 keys),也就是说,当 vm-max-memory 设置为 0 的时候,其实是所有 value 都存在于磁盘。默认值为 0 |
24 | vm-page-size 32 |
Redis swap 文件分成了很多的 page,一个对象可以保存在多个 page 上面,但一个 page 上不能被多个对象共享,vm-page-size 是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page 大小最好设置为 32 或者 64bytes;如果存储很大大对象,则可以使用更大的 page,如果不确定,就使用默认值 |
25 | vm-pages 134217728 |
设置 swap 文件中的 page 数量,由于页表(一种表示页面空闲或使用的 bitmap)是在放在内存中的,,在磁盘上每 8 个 pages 将消耗 1byte 的内存。 |
26 | vm-max-threads 4 |
设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4 |
27 | glueoutputbuf yes |
设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启 |
28 | hash-max-zipmap-entries 64 hash-max-zipmap-value 512 |
指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法 |
29 | activerehashing yes |
指定是否激活重置哈希,默认为开启(后面在介绍 Redis 的哈希算法时具体介绍) |
30 | include /path/to/local.conf |
指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件 |
外网访问记得关闭防火墙,或修改防火墙端口号
keys * //查询所有key的name
select 1 //切换当前操作库为1
序号 | 命令 | 描述 |
---|---|---|
1 | SET key value | 设置指定 key 的值 |
2 | GET key | 获取指定 key 的值。 |
3 | GETRANGE key start end | 返回 key 中字符串值的子字符 |
4 | GETSET key value | 将给定 key 的值设为 value ,并返回 key 的旧值(old value)。 |
5 | GETBIT key offset | 对 key 所储存的字符串值,获取指定偏移量上的位(bit)。 |
6 | MGET key1 [key2…] | 获取所有(一个或多个)给定 key 的值。 |
7 | SETBIT key offset value | 对 key 所储存的字符串值,设置或清除指定偏移量上的位(bit)。 |
8 | SETEX key seconds value | 将值 value 关联到 key ,并将 key 的过期时间设为 seconds (以秒为单位)。 |
9 | SETNX key value | 只有在 key 不存在时设置 key 的值。 |
10 | SETRANGE key offset value | 用 value 参数覆写给定 key 所储存的字符串值,从偏移量 offset 开始。 |
11 | STRLEN key | 返回 key 所储存的字符串值的长度。 |
12 | MSET key value [key value …] | 同时设置一个或多个 key-value 对。 |
13 | MSETNX key value [key value …] | 同时设置一个或多个 key-value 对,当且仅当所有给定 key 都不存在。 |
14 | PSETEX key milliseconds value | 这个命令和 SETEX 命令相似,但它以毫秒为单位设置 key 的生存时间,而不是像 SETEX 命令那样,以秒为单位。 |
15 | INCR key | 将 key 中储存的数字值增一。 |
16 | INCRBY key increment | 将 key 所储存的值加上给定的增量值(increment) 。 |
17 | INCRBYFLOAT key increment | 将 key 所储存的值加上给定的浮点增量值(increment) 。 |
18 | DECR key | 将 key 中储存的数字值减一。 |
19 | DECRBY key decrement key | 所储存的值减去给定的减量值(decrement) 。 |
20 | APPEND key value | 如果 key 已经存在并且是一个字符串, APPEND 命令将指定的 value 追加到该 key 原来值(value)的末尾。 |
Redis列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部(左边)或者尾部(右边)
一个列表最多可以包含 232 - 1 个元素 (4294967295, 每个列表超过40亿个元素)。
序号 | 命令 | 描述 |
---|---|---|
1 | BLPOP key1 [key2 ] timeout | 移出并获取列表的第一个元素, 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。 |
2 | BRPOP key1 [key2 ] timeout | 移出并获取列表的最后一个元素, 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。 |
3 | [BRPOPLPUSH source destination timeout | 从列表中弹出一个值,将弹出的元素插入到另外一个列表中并返回它; 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。 |
4 | LINDEX key index | 通过索引获取列表中的元素 |
5 | LINSERT key BEFORE|AFTER pivot value | 在列表的元素前或者后插入元素 |
6 | LLEN key | 获取列表长度 |
7 | LPOP key | 移出并获取列表的第一个元素 |
8 | LPUSH key value1 [value2] | 将一个或多个值插入到列表头部 |
9 | LPUSHX key value | 将一个值插入到已存在的列表头部 |
10 | LRANGE key start stop | 获取列表指定范围内的元素 |
11 | LREM key count value | 移除列表元素 |
12 | LSET key index value | 通过索引设置列表元素的值 |
13 | LTRIM key start stop | 对一个列表进行修剪(trim),就是说,让列表只保留指定区间内的元素,不在指定区间之内的元素都将被删除。 |
14 | RPOP key | 移除列表的最后一个元素,返回值为移除的元素。 |
15 | RPOPLPUSH source destination | 移除列表的最后一个元素,并将该元素添加到另一个列表并返回 |
16 | RPUSH key value1 [value2] | 在列表中添加一个或多个值 |
17 | RPUSHX key value | 为已存在的列表添加值 |
Redis 的 Set 是 String 类型的无序集合。集合成员是唯一的,这就意味着集合中不能出现重复的数据。
集合对象的编码可以是 intset 或者 hashtable。
Redis 中集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是 O(1)。
集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。
序号 | 命令 | 描述 |
---|---|---|
1 | SADD key member1 [member2] | 向集合添加一个或多个成员 |
2 | [SCARD key | 获取集合的成员数 |
3 | SDIFF key1 [key2] | 返回第一个集合与其他集合之间的差异。 |
4 | SDIFFSTORE destination key1 [key2] | 返回给定所有集合的差集并存储在 destination 中 |
5 | SINTER key1 [key2] | 返回给定所有集合的交集 |
6 | SINTERSTORE destination key1 [key2] | 返回给定所有集合的交集并存储在 destination 中 |
7 | SISMEMBER key member | 判断 member 元素是否是集合 key 的成员 |
8 | SMEMBERS key | 返回集合中的所有成员 |
9 | SMOVE source destination member | 将 member 元素从 source 集合移动到 destination 集合 |
10 | SPOP key | 移除并返回集合中的一个随机元素 |
11 | SRANDMEMBER key [count] | 返回集合中一个或多个随机数 |
12 | SREM key member1 [member2] | 移除集合中一个或多个成员 |
13 | SUNION key1 [key2] | 返回所有给定集合的并集 |
14 | SUNIONSTORE destination key1 [key2] | 所有给定集合的并集存储在 destination 集合中 |
15 | SSCAN key cursor [MATCH pattern] [COUNT count] | 迭代集合中的元素 |
Redis 有序集合和集合一样也是 string 类型元素的集合,且不允许重复的成员。
不同的是每个元素都会关联一个 double 类型的分数。redis 正是通过分数来为集合中的成员进行从小到大的排序。
有序集合的成员是唯一的,但分数(score)却可以重复。
集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是 O(1)。 集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。
序号 | 命令 | 描述 |
---|---|---|
1 | ZADD key score1 member1 [score2 member2] | 向有序集合添加一个或多个成员,或者更新已存在成员的分数 |
2 | ZCARD key | 获取有序集合的成员数 |
3 | ZCOUNT key min max | 计算在有序集合中指定区间分数的成员数 |
4 | ZINCRBY key increment member | 有序集合中对指定成员的分数加上增量 increment |
5 | ZINTERSTORE destination numkeys key [key …] | 计算给定的一个或多个有序集的交集并将结果集存储在新的有序集合 destination 中 |
6 | ZLEXCOUNT key min max | 在有序集合中计算指定字典区间内成员数量 |
7 | ZRANGE key start stop [WITHSCORES] | 通过索引区间返回有序集合指定区间内的成员 |
8 | ZRANGEBYLEX key min max [LIMIT offset count] | 通过字典区间返回有序集合的成员 |
9 | ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT] | 通过分数返回有序集合指定区间内的成员 |
10 | ZRANK key member | 返回有序集合中指定成员的索引 |
11 | ZREM key member [member …] | 移除有序集合中的一个或多个成员 |
12 | ZREMRANGEBYLEX key min max | 移除有序集合中给定的字典区间的所有成员 |
13 | ZREMRANGEBYRANK key start stop | 移除有序集合中给定的排名区间的所有成员 |
14 | ZREMRANGEBYSCORE key min max | 移除有序集合中给定的分数区间的所有成员 |
15 | ZREVRANGE key start stop [WITHSCORES] | 返回有序集中指定区间内的成员,通过索引,分数从高到低 |
16 | ZREVRANGEBYSCORE key max min [WITHSCORES] | 返回有序集中指定分数区间内的成员,分数从高到低排序 |
17 | ZREVRANK key member | 返回有序集合中指定成员的排名,有序集成员按分数值递减(从大到小)排序 |
18 | ZSCORE key member | 返回有序集中,成员的分数值 |
19 | ZUNIONSTORE destination numkeys key [key …] | 计算给定的一个或多个有序集的并集,并存储在新的 key 中 |
20 | ZSCAN key cursor [MATCH pattern] [COUNT count] | 迭代有序集合中的元素(包括元素成员和元素分值) |
Redis hash 是一个 string 类型的 field(字段) 和 value(值) 的映射表,hash 特别适合用于存储对象。
Redis 中每个 hash 可以存储 232 - 1 键值对(40多亿)。
序号 | 命令 | 描述 |
---|---|---|
1 | HDEL key field1 [field2] | 删除一个或多个哈希表字段 |
2 | HEXISTS key field | 查看哈希表 key 中,指定的字段是否存在。 |
3 | HGET key field | 获取存储在哈希表中指定字段的值。 |
4 | HGETALL key | 获取在哈希表中指定 key 的所有字段和值 |
5 | HINCRBY key field increment | 为哈希表 key 中的指定字段的整数值加上增量 increment 。 |
6 | HINCRBYFLOAT key field increment | 为哈希表 key 中的指定字段的浮点数值加上增量 increment 。 |
7 | HKEYS key | 获取所有哈希表中的字段 |
8 | HLEN key | 获取哈希表中字段的数量 |
9 | HMGET key field1 [field2] | 获取所有给定字段的值 |
10 | HMSET key field1 value1 [field2 value2 ] | 同时将多个 field-value (域-值)对设置到哈希表 key 中。 |
11 | HSET key field value | 将哈希表 key 中的字段 field 的值设为 value 。 |
12 | HSETNX key field value | 只有在字段 field 不存在时,设置哈希表字段的值。 |
13 | HVALS key | 获取哈希表中所有值。 |
14 | HSCAN key cursor [MATCH pattern] [COUNT count] | 迭代哈希表中的键值对。 |
Redis 在 2.8.9 版本添加了 HyperLogLog 结构。
Redis HyperLogLog 是用来做基数统计的算法,HyperLogLog 的优点是,在输入元素的数量或者体积非常非常大时,计算基数所需的空间总是固定 的、并且是很小的。
在 Redis 里面,每个 HyperLogLog 键只需要花费 12 KB 内存,就可以计算接近 2^64 个不同元素的基 数。这和计算基数时,元素越多耗费内存就越多的集合形成鲜明对比。
但是,因为 HyperLogLog 只会根据输入元素来计算基数,而不会储存输入元素本身,所以 HyperLogLog 不能像集合那样,返回输入的各个元素。
举例来说微博点赞个数就可以用HyperLogLog字段,当达到几十万点赞数,存在几个误差,是不会显示出来的。
序号 | 命令 | 描述 |
---|---|---|
1 | PFADD key element [element …] | 添加指定元素到 HyperLogLog 中。 |
2 | PFCOUNT key [key …] | 返回给定 HyperLogLog 的基数估算值。 |
3 | PFMERGE destkey sourcekey [sourcekey …] | 将多个 HyperLogLog 合并为一个 HyperLogLog |
Redis GEO 主要用于存储地理位置信息,并对存储的信息进行操作,该功能在 Redis 3.2 版本新增。
Redis GEO 操作方法有:
geoadd:
geopos:
geodist:
georadius:
georadiusbymember:
geohash:
序号 | 命令 | 描述 |
---|---|---|
1 | GEOADD key longitude latitude member [longitude latitude member …] | 添加地理位置的坐标。 |
2 | GEOPOS key member [member …] | 获取地理位置的坐标。 |
3 | GEODIST key member1 member2 [m|km|ft|mi] | 计算两个位置之间的距离。 |
4 | GEORADIUS key longitude latitude radius m|km|ft|mi [WITHCOORD] [WITHDIST] [WITHHASH] [COUNT count] [ASC|DESC] [STORE key] [STOREDIST key] | 根据用户给定的经纬度坐标来获取指定范围内的地理位置集合。 |
5 | GEORADIUSBYMEMBER key member radius m|km|ft|mi [WITHCOORD] [WITHDIST] [WITHHASH] [COUNT count] [ASC|DESC] [STORE key] [STOREDIST key] | 根据储存在位置集合里面的某个地点获取指定范围内的地理位置集合。 |
6 | GEOHASH key member [member …] | 返回一个或多个位置对象的 geohash 值。 |
RDB持久化是指在指定的时间间隔内将内存中的数据集通过快照的形式保存在磁盘,默认的文件名为dump.rdb。可以在配置中第9和第11行对应参数修改时间间隔和文件名称。
save命令:阻塞当前Redis服务器,直到RDB过程完成为止,对于内存 比较大的实例会造成长时间阻塞,线上环境不建议使用。在关闭redis的时候,redis会自动执行一次save命令。
bgsave命令:Redis进程执行fork操作创建子进程,RDB持久化过程由子 进程负责,完成后自动结束。阻塞只发生在fork阶段,一般时间很短。默认备份都是通过bgsave来备份,所以不会阻塞主进程。
AOF(append only file)持久化:是以操作日志的方式记录每次写命令, 重启时再重新执行AOF文件中的命令达到恢复数据的目的。AOF的主要作用 是解决了数据持久化的实时性,目前已经是Redis持久化的主流方式
订阅服务:订阅者通过subcribe命令订阅频道消息, subscribe channel.1 channel.2
,订阅channel1.1、channel1.2频道的消息
发布服务:发布者通过 publish命令发布消息, publish channel.1 hi
,如向 channel1.1 发送信息 hi
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4ixx1iO6-1656583239632)(https://i.loli.net/2021/09/16/qYANwdizoSlBtjV.png)]
修改从库的配置文件
# Master-Slave replication. Use slaveof to make a Redis instance a copy of
# another Redis server. A few things to understand ASAP about Redis replication.
#
# 1) Redis replication is asynchronous, but you can configure a master to
# stop accepting writes if it appears to be not connected with at least
# a given number of slaves.
# 2) Redis slaves are able to perform a partial resynchronization with the
# master if the replication link is lost for a relatively small amount of
# time. You may want to configure the replication backlog size (see the next
# sections of this file) with a sensible value depending on your needs.
# 3) Replication is automatic and does not need user intervention. After a
# network partition slaves automatically try to reconnect to masters
# and resynchronize with them.
#
replicaof 172.31.119.106 6379
# 在旧的版本里面是叫做 slaveof参数
# 可以通过replica-read-only参数设置是否从库只读,默认yes,设置为no时则从库也可以修改数据
replica-read-only yes
参数replica-read-only yes
时,修改数据提示错误
参数replica-read-only no
时,可以正常修改数据,下次主库修改时,会同步覆盖
为了方便,使用Docker环境部署集群
安装Docker程序略过,见其他文档
安装redis,示例使用redis5.0.5版本
// 获取镜像文件
docker pull redis:5.0.5
提前配置好conf文件,因为集群要求最少3个节点,示例采用三主三从的配置,所以一共会创建6个节点
(1)bind 0.0.00 修改绑定地址
(2)port 7001 根据文件后缀端口修改,如果docker网络采用桥接方式,此处也可以都使用默认的6379端口,每个docker容器的网络都是独立的
(3)daemonize no ,此处必须设置成no,不然docker容器一启动就停掉。设置成yes,redis进程就以守护进程运行,docker容器检测到没有前台进程,所以容器直接停掉
(4)pidfile "/var/run/redis_7001.pid" 根据端口号修改
(5)logfile "/data/redis7001.log" 此处将log文件存放的路径设置到容器的/data路口,刚开始设置了一个其他路径,容器启动的时候提示权限不够
(6)dbfilename "dump7001.rdb" rdb数据文件的名称,按照端口号修改
(7)dir "/data" 数据文件存放的路径
(8)requirepass "123456" redis的密码,根据实际情况进行设置
(9)appendonly yes 是否开启aof持久化配置,根据实际情况配置
(10)appendfilename "appendonly7001.aof" aof文件的名称
(11)appendfsync everysec aof持久化策略 ,always 、no
(12)cluster-enabled yes 开启集群模式,设置成yes
(13)cluster-config-file /data/nodes-7001.conf 集群配置文件存放位置
(14)cluster-node-timeout 15000 节点通信超时时间
复制六份,替换到目录下,后面运行容器时,会从目录拷贝
docker run -it -d -v /dockerdata/redis-cluster/conf:/usr/local/etc/redis -v /dockerdata/redis-cluster/data:/data --network=host --name redis-7001 redis:5.0.5 redis-server /usr/local/etc/redis/redis7001.conf
docker run -it -d -v /dockerdata/redis-cluster/conf:/usr/local/etc/redis -v /dockerdata/redis-cluster/data:/data --network=host --name redis-7002 redis:5.0.5 redis-server /usr/local/etc/redis/redis7002.conf
docker run -it -d -v /dockerdata/redis-cluster/conf:/usr/local/etc/redis -v /dockerdata/redis-cluster/data:/data --network=host --name redis-7003 redis:5.0.5 redis-server /usr/local/etc/redis/redis7003.conf
docker run -it -d -v /dockerdata/redis-cluster/conf:/usr/local/etc/redis -v /dockerdata/redis-cluster/data:/data --network=host --name redis-7004 redis:5.0.5 redis-server /usr/local/etc/redis/redis7004.conf
docker run -it -d -v /dockerdata/redis-cluster/conf:/usr/local/etc/redis -v /dockerdata/redis-cluster/data:/data --network=host --name redis-7005 redis:5.0.5 redis-server /usr/local/etc/redis/redis7005.conf
docker run -it -d -v /dockerdata/redis-cluster/conf:/usr/local/etc/redis -v /dockerdata/redis-cluster/data:/data --network=host --name redis-7006 redis:5.0.5 redis-server /usr/local/etc/redis/redis7006.conf
然后进入到任意一个容器中
docker exec -it redis-7001 bash
// 172.31.119.208:7001 需要输入主服务器的IP地址 --cluster-replicas 1 代表每个主库带一个从库 --cluster-replicas 0则表示全部是主库,没有从库
root@localhost:/data# /usr/local/bin/redis-cli --cluster create 172.31.119.208:7001 172.31.119.208:7002 172.31.119.208:7003 172.31.119.208:7004 172.31.119.208:7005 172.31.119.208:7006 --cluster-replicas 1
//查看集群节点状态
cluster nodes
然后进入resdis执行查看
// 注意要带-c的,代表以集群的方式进入,不然当需要插入其他插槽数据的时候就会报错 (error) MOVED 6659 172.31.119.208:7002
resid-cli -c -p 7001
测试集群状态
// 停止掉redis-7002 服务后,可以看到,原来7002的从库7006升级为主库了
docker stop redis-7002
简单来说,大量请求都无法命中缓存,全部去直接请求数据库,导致数据库压力过高。如:数据库的表ID都是从1开始自增的,这时候查询ID为-1的,缓存中就不会存在这样的数据,大量发起这样的请求,就会把数据库服务器给压垮。
解决办法:
增加鉴权,明显无效的请求就在程序直接过滤
就算没有返回值就把数据缓存下来,保障下次同样的请求还是能命中缓存
简单来说就是在某一个时刻,大量的缓存正好过期,而这个时候,又正好有大量请求过来,导致缓存又无法命中了,又只能去数据库请求了,数据库又压垮了。
解决办法:
设置缓存不过期
把缓存分布到不同缓存服务器上
随机缓存过期事件,防止在同一时间大量缓存过期
当我们系统采用分布式部署后,意味着同一个资源,可能同时被不同进程所需要操作,这时候就出现了分布式锁的概念。
增加分布式锁,阻止同一资源的重复操作。
分布式锁一般有三种实现来解决:
基于数据库实现分布式锁
创建分布式锁的记录表
CREATE TABLE `method_lock` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键',
`method_name` varchar(64) NOT NULL COMMENT '锁定的方法名',
`state` tinyint NOT NULL COMMENT '1:未分配;2:已分配',
`update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
`version` int NOT NULL COMMENT '版本号',
`PRIMARY KEY (`id`),
UNIQUE KEY `uidx_method_name` (`method_name`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COMMENT='锁定中的方法';
-- 先获取锁的信息
select id, method_name, state,version from method_lock where state=1 and method_name='methodName';
-- 占有锁
update t_resoure set state=2, version=2, update_time=now() where method_name='methodName' and state=1 and version=2;
-- 如果没有更新影响到一行数据,则说明这个资源已经被别人占位了。
优点:
处理简单,学习简单
缺点:
数据库是单节点,一旦挂了,系统就崩溃了
没有失效时间,需要作业定时清理
非阻塞,失败了就立刻返回了,不能等待
基于缓存(Redis等)实现分布式锁
核心原理就是采用 set nx/xx ex/px来实现,当数据不存在则插入。
// 此语句满足原子性,可以在新增字符串同时,设置过期时间
//my_random_value防止问题,当线程一获取到锁后,执行业务,然后在缓存到期后,还未执行完成,这时间线程二就可以正常获取到锁,然后线程一执行完成,释放/删除锁,就会把线程二的锁给错误删除了。所以每次执行删除的时候需要同时判断value值是否相等
SET lock_name my_random_value NX PX 30000
但是,以上语句可能存在问题,当线程一执行完成,然后去查询锁,存在,这时候线程被分配到去处理其他事件,等重新分配回来,这时候锁正好过期了,就会释放失败,程序死锁了。主要还是因为查询和删除是两个不同操作,不具有原子性。于是就可以使用lua脚本来解决。
基于Zookeeper实现分布式锁
需要会Zookeeper这个软件,而我也不会。略