我来烤烤你
我来烤烤你

2020-10-25 Redis

作业 1024

1、RDB和AOF的优缺点

# RDB 模式优点
1.RDB快照保存了某个时间点的数据，可以通过脚本执行redis指令'bgsave(非阻塞，后台执行)'或者'save(会阻塞写操作,不推荐)命令自定义时间点'进行备份，可以保留多个备份。
当出现问题'可以恢复到不同时间点的版本',很适合备份,并且此'文件格式支持许多第三方工具'，可以进行后续的数据分析

2.RDB可以'最大化Redis的性能'，父进程在保存 RDB文件时唯一要做的就是fork出一个子进程，然后这个子进程就会处理接下来的所有保存工作，父进程无须执行任何磁盘 I/O 操作。

3.RDB在大量数据,比如几个G的数据，'恢复的速度比AOF的快

# RDB 模式缺点
1.'不能实时保存数据'，可能会丢失自上一次执行RDB备份到当前的内存数据

2.当数据量非常大的时候，从父进程fork子进程进行保存至RDB文件时需要一点时间，取决于磁盘IO性能
'在数据集比较庞大时，fork()生成子进程可能会非常耗时，造成服务器在一定时间内停止处理客户端﹔如果数据集非常巨大，并且CPU时间非常紧张的话，那么这种停止时间甚至可能会长达整整一秒或更久。'
----------------------------------------------------------------------------------
----------------------------------------------------------------------------------
# AOF模式优点
1.'数据安全性相对较高'，根据所使用的fsync策略(fsync是同步内存中redis所有已经修改的文件到存储设备)，默认是appendfsync everysec，即每秒执行一次 fsync,在这种配置下，Redis 仍然可以保持良好的性能，并且就算发生故障停机，也'最多只会丢失一秒钟的数据( fsync会在后台线程执行，所以主线程可以继续努力地处理命令请求)

2.由于该机制对日志文件的写入操作采用的是append模式，因此在写入过程中不需要seek, '即使出现宕机现象，也不会破坏日志文件中已经存在的内容'。然而如果本次操作只是写入了一半数据就出现了系统崩溃问题，不用担心，在Redis下一次启动之前，可以通过 redis-check-aof 工具来解决数据一致性的问题

3.Redis可以'在 AOF文件体积变得过大时，自动地在后台对AOF进行重写',重写后的新AOF文件包含了恢复当前数据集所需的最小命令集合。   整个重写操作是绝对安全的，因为Redis在创建新 AOF文件的过程中，append模式不断的将修改数据追加到现有的 AOF文件里面，即使重写过程中发生停机，现有的 AOF文件也不会丢失。   而一旦新AOF文件创建完毕，Redis就会从旧AOF文件切换到新AOF文件，并开始对新AOF文件进行追加操作。

4.AOF包含一个'格式清晰、易于理解的日志文件'用于记录所有的修改操作。事实上，也可以通过该文件完成数据的重建
AOF文件有序地保存了对数据库执行的所有写入操作，这些写入操作以Redis协议的格式保存，因此 'AOF文件的内容非常容易被人读懂，对文件进行分析(parse)也很轻松'。   
'导出（export)AOF文件也非常简单':举个例子，如果你不小心执行了FLUSHALL.命令，但只要AOF文件未被重写，那么只要停止服务器，移除 AOF文件末尾的FLUSHAL命令，并重启Redis ,就可以将数据集恢复到FLUSHALL执行之前的状态。

# AOF模式缺点
1.即使有些操作是重复的也会全部记录，AOF 的文件大小要大于 RDB 格式的文件
2.AOF 在恢复大数据集时的速度比 RDB 的恢复速度要慢
3.根据fsync策略不同,AOF速度可能会慢于RDB
4.bug 出现的可能性更多

2、master和slave同步过程

1）从服务器连接主服务器，发送PSYNC命令
2）主服务器接收到PSYNC命令后，开始执行BGSAVE命令生成RDB快照文件,并使用缓冲区记录此后执行的所有写命令
3）主服务器BGSAVE执行完后，向所有从服务器发送RDB快照文件，并在发送期间继续记录被执行的写命令
4）从服务器收到快照文件后丢弃所有旧数据，载入收到的快照至内存
5）主服务器快照发送完毕后,开始向从服务器发送缓冲区中的写命令
6）从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令
7）后期同步，从服务器会先发送自己的slave_repl_offset位置，只同步新增加的数据，不再全量同步

3、哨兵的使用和实现机制？

1 哨兵的准备：先实现主从复制架构

在已实现主从架构的情况下，实现一个一主两从、基于哨兵的高可用redis架构

# 注意: master 的配置文件中masterauth 和slave 都必须相同！！！
==========================================================
# 实现一主二从：
1.所有节点执行：
yum -y install redis
sed -i -e 's/bind 127.0.0.1/bind 0.0.0.0/' -e 's/^# masterauth.*/masterauth 123456/' -e 's/^# requirepass .*/requirepass 123456/' /etc/redis.conf

2.在两台从节点执行：
echo "replicaof 10.0.0.8 6379" >> /etc/redis.conf

3.所有节点执行：
systemctl enable --now redis

# 检查主节点状态
[root@CentOS8 ~]#redis-cli -a 123456 info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:2
slave0:ip=10.0.0.58,port=6379,state=online,offset=112,lag=1
slave1:ip=10.0.0.68,port=6379,state=online,offset=112,lag=1
master_replid:3293d562bd15ecac07eecae47100ca67d0c0353c
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:112
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:112

# 配置从节点（两台相同操作）：
[root@centos8 ~]#redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> REPLICAOF 10.0.0.8 6379
OK Already connected to specified master
127.0.0.1:6379> config set masterauth "123456"
OK
127.0.0.1:6379> info replication
# Replication
role:slave
master_host:10.0.0.8
master_port:6379
master_link_status:up
......
==========================================================

2 编辑哨兵的配置文件

Sentinel实际上是一个特殊的redis服务器，默认监听在26379/tcp端口

哨兵可以不和Redis服务器部署在一起，但一般部署在一起，所有redis节点使用相同的配置文件

# 如果是编译安装，在源码目录有sentinel.conf，复制到安装目录即可
如:/apps/redis/etc/sentinel.conf
==========================================================
# 配置文件：
[root@CentOS8 ~]#grep  '^[^#]' /etc/redis-sentinel.conf 
port 26379
daemonize no
pidfile /var/run/redis-sentinel.pid
logfile ""      # 自定义日志目录，若指定，需要修改权限属性（保持原状，不影响下面生效）
dir /tmp
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000
sentinel deny-scripts-reconfig yes
logfile /var/log/redis/sentinel.log     # 默认日志位置！！！
==========================================================
'必要设置项1'
sentinel monitor mymaster 10.0.0.8 6379 2 
# 指定当前mymaster集群中master服务器的地址和端口
# 2 为法定人数限制(quorum)，即有几个sentinel认为master down了就进行故障转移，一般此值是所有sentinel节点数量(一般总数是3以上的奇数)的一半以上的整数值。。。比如，此例中总数是3，即3/2=1.5，取整为2。是master的ODOWN客观下线的依据

'必要设置项2'
sentinel auth-pass mymaster 123456 
# mymaster集群中master的密码。。。注意此行要紧接在上面行的下面！！！


sentinel down-after-milliseconds mymaster 30000 
# (SDOWN)判断mymaster集群中所有节点的主观下线的时间，单位：毫秒，建议3000

sentinel parallel-syncs mymaster 1 
# 发生故障转移后，同时向新master同步数据的slave数量，数字越小总同步时间越长，但可以减轻新master的负载压力

sentinel failover-timeout mymaster 180000 
# 所有slaves指向新的master所需的超时时间，单位：毫秒

# 日志
logfile /var/log/redis/sentinel.log
========================================================================
## 三个哨兵服务器的配置都如下（只有3行需要变动）：
========================================================================
sentinel monitor mymaster 10.0.0.8 6379 2         # 修改此行
sed -ri 's/^(sentinel monitor mymaster).*/\1 10.0.0.8 6379 2/' /etc/redis-sentinel.conf
sentinel auth-pass mymaster 123456                # 增加此行（紧跟着上一行）
sed -ri '/sentinel monitor mymaster/a\sentinel auth-pass mymaster 123456' /etc/redis-sentinel.conf
sentinel down-after-milliseconds mymaster 3000    # 修改此行
sed -ri 's/^(sentinel down-after-milliseconds).*/\1 mymaster 3000/' /etc/redis-sentinel.conf

# 最终结果：
[root@centos8 ~]#grep  '^[^#]' /etc/redis-sentinel.conf
port 26379
daemonize no
pidfile /var/run/redis-sentinel.pid
logfile ""
dir /tmp
sentinel monitor mymaster 10.0.0.8 6379 2
sentinel auth-pass mymaster 123456
sentinel down-after-milliseconds mymaster 3000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000
sentinel deny-scripts-reconfig yes
logfile /var/log/redis/sentinel.log

3 启动哨兵

# 启动哨兵，在其配置文件中会生成 'sentinel myid'
注：'sentinel myid'是自动生成的，且必须唯一
    若发生雷同需要手动修改，随便改，修改后需重启redis和sentinel服务
==============================================================
# 启动
systemctl enable --now redis-sentinel

# 检查 myid（确保每个哨兵主机myid不同）
[root@CentOS8 ~]#grep 'myid' /etc/redis-sentinel.conf
sentinel myid 482ea8aa1764314909473803ae4e15c93fd9f174
[root@centos8 ~]#grep 'myid' /etc/redis-sentinel.conf
sentinel myid 757ac9a40542a060b12e4f570e9f19c016b0762f
[root@centos8 ~]#grep 'myid' /etc/redis-sentinel.conf
sentinel myid b8f9d69a8b849fa09ede20a45fb8d91c55d72c52


注：如果是编译安装,在所有哨兵服务器执行下面操作启动哨兵
`/apps/redis/bin/redis-sentinel  /apps/redis/etc/sentinel.conf

4 验证哨兵端口

[root@CentOS8 ~]#ss -ntl | grep 26379
LISTEN   0         128                 0.0.0.0:26379            0.0.0.0:*       
LISTEN   0         128                    [::]:26379               [::]:*

5 查看哨兵日志

# master的哨兵日志
[root@CentOS8 ~]#tail -f /var/log/redis/sentinel.log
19131:X 23 Oct 2020 20:36:12.035 # Configuration loaded
19131:X 23 Oct 2020 20:36:12.035 * supervised by systemd, will signal readiness
19131:X 23 Oct 2020 20:36:12.036 * Running mode=sentinel, port=26379.
19131:X 23 Oct 2020 20:36:12.036 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
19131:X 23 Oct 2020 20:36:12.036 # Sentinel ID is 482ea8aa1764314909473803ae4e15c93fd9f174
19131:X 23 Oct 2020 20:36:12.036 # +monitor master mymaster 10.0.0.8 6379 quorum 2
19131:X 23 Oct 2020 20:36:12.040 * +slave slave 10.0.0.68:6379 10.0.0.68 6379 @ mymaster 10.0.0.8 6379
19131:X 23 Oct 2020 20:36:12.040 * +slave slave 10.0.0.58:6379 10.0.0.58 6379 @ mymaster 10.0.0.8 6379
19131:X 23 Oct 2020 20:36:14.104 * +sentinel sentinel 757ac9a40542a060b12e4f570e9f19c016b0762f 10.0.0.58 26379 @ mymaster 10.0.0.8 6379
19131:X 23 Oct 2020 20:36:14.119 * +sentinel sentinel b8f9d69a8b849fa09ede20a45fb8d91c55d72c52 10.0.0.68 26379 @ mymaster 10.0.0.8 6379


# slave的哨兵日志
[root@centos8 ~]#tail -f /var/log/redis/sentinel.log
18272:X 23 Oct 2020 20:36:12.063 # Configuration loaded
18272:X 23 Oct 2020 20:36:12.063 * supervised by systemd, will signal readiness
18272:X 23 Oct 2020 20:36:12.064 * Running mode=sentinel, port=26379.
18272:X 23 Oct 2020 20:36:12.064 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
18272:X 23 Oct 2020 20:36:12.065 # Sentinel ID is b8f9d69a8b849fa09ede20a45fb8d91c55d72c52
18272:X 23 Oct 2020 20:36:12.065 # +monitor master mymaster 10.0.0.8 6379 quorum 2
18272:X 23 Oct 2020 20:36:12.066 * +slave slave 10.0.0.68:6379 10.0.0.68 6379 @ mymaster 10.0.0.8 6379
18272:X 23 Oct 2020 20:36:12.067 * +slave slave 10.0.0.58:6379 10.0.0.58 6379 @ mymaster 10.0.0.8 6379
18272:X 23 Oct 2020 20:36:14.068 * +sentinel sentinel 482ea8aa1764314909473803ae4e15c93fd9f174 10.0.0.8 26379 @ mymaster 10.0.0.8 6379
18272:X 23 Oct 2020 20:36:14.107 * +sentinel sentinel 757ac9a40542a060b12e4f570e9f19c016b0762f 10.0.0.58 26379 @ mymaster 10.0.0.8 6379

6 当前sentinel状态

# 关注sentinel状态最后一行，涉及到masterIP是多少，有几个slave，有几个sentinels，必须是符合全部服务器数量
# 注意：
'redis-cli -p 26379' 表示连接哨兵服务器！！！！！！！
==========================================================================
# 主节点：
[root@CentOS8 ~]#redis-cli -p 26379 info sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=10.0.0.8:6379,slaves=2,sentinels=3

# 任选从节点：
[root@centos8 ~]#redis-cli -p 26379 info sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=10.0.0.8:6379,slaves=2,sentinels=3
'两个slave、三个sentinel服务器。。如果sentinels值不符合,检查myid，很可能是因为myid冲突

7 停止Redis Master，测试故障转移

# 杀掉主节点的 redis
killall redis-server

# 查看从节点哨兵信息
[root@centos8 ~]#redis-cli -p 26379 info sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=10.0.0.68:6379,slaves=2,sentinels=3
'虽然数量无变化。。因为旧master已经被哨兵修改为一个新的slave！！！
'注意：此处数目并不表示在线！！！！只能表示当前架构各个主机数量！！！（旧master的redis已经切断）

# 查看日志 ，发现新主为 10.0.0.68
18272:X 23 Oct 2020 20:48:21.878 # -odown master mymaster 10.0.0.8 6379     【客观宕机】
18272:X 23 Oct 2020 20:48:21.878 # +failover-end master mymaster 10.0.0.8 6379
18272:X 23 Oct 2020 20:48:21.878 # +switch-master mymaster 10.0.0.8 6379 10.0.0.68 6379【切换新主】
18272:X 23 Oct 2020 20:48:21.878 * +slave slave 10.0.0.58:6379 10.0.0.58 6379 @ mymaster 10.0.0.68 6379
18272:X 23 Oct 2020 20:48:21.879 * +slave slave 10.0.0.8:6379 10.0.0.8 6379 @ mymaster 10.0.0.68 6379
18272:X 23 Oct 2020 20:48:24.911 # +sdown slave 10.0.0.8:6379 10.0.0.8 6379 @ mymaster 10.0.0.68 6379

# 检查主从关系
# 在slave-58查看：
[root@centos8 ~]#redis-cli -a 123456 info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:slave
master_host:10.0.0.68
master_port:6379
master_link_status:up
.....
# 在slave-68查看：（已成为新主，且只有一个slave在线）
[root@centos8 ~]#redis-cli -a 123456 info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:1
slave0:ip=10.0.0.58,port=6379,state=online,offset=270422,lag=1
master_replid:70c2be922ed56af27eedbd848b2a66c7f7e9a414
.....
============================================================================
# 恢复故障的原master重新加入redis集群
# 重启旧主的 redis
systemctl start redis

# 在新主查看主从关系（等待几秒）
[root@centos8 ~]#redis-cli -a 123456 info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:2   # 已有两个slave（哨兵起作用）
slave0:ip=10.0.0.58,port=6379,state=online,offset=286079,lag=0
slave1:ip=10.0.0.8,port=6379,state=online,offset=285946,lag=0
.........

8 故障转移后的redis配置文件会被自动修改

# 故障转移后，redis.conf中的replicaof行的master IP会被修改
# 哨兵配置文件的sentinel monitor IP 同样也会被修改

# 在slave-58查看：
[root@centos8 ~]#grep ^replicaof /etc/redis.conf
replicaof 10.0.0.68 6379

# 在所有节点查看：
[root@centos8 ~]#grep "^sentinel monitor" /etc/redis-sentinel.conf
sentinel monitor mymaster 10.0.0.68 6379 2
'当前监控都为 10.0.0.68 （因为哨兵监控主节点，此时68为新主）

4、redis cluster集群创建和使用

基于Redis 5的redis cluster 部署：

1 创建redis cluster集群的环境准备

1. 每个redis 节点采用相同的'硬件配置'、相同的密码、相同的redis版本
2. 所有redis服务器必须没有任何数据
3. 准备六台主机，地址如下
10.0.0.8
10.0.0.18
10.0.0.28
10.0.0.38
10.0.0.48
10.0.0.58

2 启用redis cluster配置

# 安装
dnf -y install redis

# 每个节点修改redis配置，必须开启cluster功能的参数
sed -i.bak -e 's/bind 127.0.0.1/bind 0.0.0.0/' -e '/masterauth/a masterauth 123456' -e '/# requirepass/a requirepass 123456' -e '/# cluster-enabled yes/a cluster-enabled yes' -e '/# cluster-config-file nodes-6379.conf/a cluster-config-file nodes-6379.conf' -e '/cluster-require-full-coverage yes/c cluster-require-full-coverage no' /etc/redis.conf
systemctl enable --now redis

# 验证当前Redis服务状态：
[root@CentOS8 ~]#ss -ntl | grep 6379
LISTEN   0         128                 0.0.0.0:16379            0.0.0.0:*       
LISTEN   0         128                 0.0.0.0:6379             0.0.0.0:*  

注：cluster的端口号是在 redis服务设置的端口号上 +10000 （若修改redis—port=6666，则cluster-port=16666）

3 创建集群

# 注：选项 --cluster-replicas 1 表示每个master对应一个slave节点
===============================================================
# 执行（--cluster create）
[root@CentOS8 ~]#redis-cli -a 123456 --cluster create 10.0.0.8:6379 10.0.0.18:6379 10.0.0.28:6379 10.0.0.38:6379 10.0.0.48:6379 10.0.0.58:6379 --cluster-replicas 1
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 10.0.0.38:6379 to 10.0.0.8:6379
Adding replica 10.0.0.48:6379 to 10.0.0.18:6379
Adding replica 10.0.0.58:6379 to 10.0.0.28:6379
'注： M 表示 master、 S 表示 slave
M: bfbbb2390cffddbdb6cad159658a4b8770702cd8 10.0.0.8:6379
   slots:[0-5460] (5461 slots) master   # 当前master的槽位范围
M: 4457771149df7949b7d94cec318f4e783b5e5a18 10.0.0.18:6379
   slots:[5461-10922] (5462 slots) master
M: 6061cf2702a7c07bb64debbdc9bc7897a672d152 10.0.0.28:6379
   slots:[10923-16383] (5461 slots) master
S: bb1c85f4a072be2d8645a40ecef76c358da29f3b 10.0.0.38:6379
   replicates bfbbb2390cffddbdb6cad159658a4b8770702cd8
S: 5a469424de6187f662ff825b40b3766fca893325 10.0.0.48:6379
   replicates 4457771149df7949b7d94cec318f4e783b5e5a18
S: 7a19f3c4082136d3d7c11f6a5c7665e461b2b565 10.0.0.58:6379
   replicates 6061cf2702a7c07bb64debbdc9bc7897a672d152
Can I set the above configuration? (type 'yes' to accept):      # 输入 yes 自动创建集群
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
...
>>> Performing Cluster Check (using node 10.0.0.8:6379)
M: bfbbb2390cffddbdb6cad159658a4b8770702cd8 10.0.0.8:6379
   slots:[0-5460] (5461 slots) master  # 已经分配的槽位
   1 additional replica(s)             # 分配了一个slave
M: 4457771149df7949b7d94cec318f4e783b5e5a18 10.0.0.18:6379
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
S: bb1c85f4a072be2d8645a40ecef76c358da29f3b 10.0.0.38:6379
   slots: (0 slots) slave          # slave没有分配槽位
   replicates bfbbb2390cffddbdb6cad159658a4b8770702cd8  # 38对应的master=8，此即为8的id
S: 5a469424de6187f662ff825b40b3766fca893325 10.0.0.48:6379
   slots: (0 slots) slave
   replicates 4457771149df7949b7d94cec318f4e783b5e5a18  # 48对应的master=18，此即为18的id
M: 6061cf2702a7c07bb64debbdc9bc7897a672d152 10.0.0.28:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: 7a19f3c4082136d3d7c11f6a5c7665e461b2b565 10.0.0.58:6379
   slots: (0 slots) slave
   replicates 6061cf2702a7c07bb64debbdc9bc7897a672d152  # 58对应的master=28，此即为28的id
[OK] All nodes agree about slots configuration.
>>> Check for open slots...     # 检查打开的槽位
>>> Check slots coverage...     # 检查插槽覆盖范围
[OK] All 16384 slots covered.   # 所有槽位(16384个)分配完成

# 分析以上结果，可以看到3组master/slave
master:10.0.0.8---slave:10.0.0.38
master:10.0.0.18---slave:10.0.0.48
master:10.0.0.28---slave:10.0.0.58

4 查看主从状态

# master=8
[root@CentOS8 ~]#redis-cli -a 123456 -c info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:1
slave0:ip=10.0.0.38,port=6379,state=online,offset=2282,lag=1
master_replid:284b5af60073a1569904dad89cab418d636d918d
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:2282
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:2282

# master=18
[root@centos8 ~]#redis-cli -a 123456 -c info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:1
slave0:ip=10.0.0.48,port=6379,state=online,offset=2338,lag=0
master_replid:d12f0146815127bb80a434cd4a48269cc166dbf1
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:2338
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:2338

# master=28
[root@centos8 ~]#redis-cli -a 123456 -c info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:1
slave0:ip=10.0.0.58,port=6379,state=online,offset=2380,lag=0
master_replid:fb09a9c75fe74e4e98e43333ce61b9dcee8f56e4
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:2380
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:2380
===============================================================
# slave=48（任取一个）
[root@centos8 ~]#redis-cli -a 123456 -c info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:slave
master_host:10.0.0.18
master_port:6379
master_link_status:up
master_last_io_seconds_ago:6
master_sync_in_progress:0
slave_repl_offset:2464
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:d12f0146815127bb80a434cd4a48269cc166dbf1
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:2464
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:2464
===============================================================
===============================================================
# 所有[节点id] 以及node对应关系
[root@centos8 ~]#redis-cli -a 123456 cluster nodes
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
4457771149df7949b7d94cec318f4e783b5e5a18 10.0.0.18:6379@16379 master - 0 1603532399481 2 connected 5461-10922
6061cf2702a7c07bb64debbdc9bc7897a672d152 10.0.0.28:6379@16379 master - 0 1603532398460 3 connected 10923-16383
7a19f3c4082136d3d7c11f6a5c7665e461b2b565 10.0.0.58:6379@16379 slave 6061cf2702a7c07bb64debbdc9bc7897a672d152 0 1603532398000 6 connected
5a469424de6187f662ff825b40b3766fca893325 10.0.0.48:6379@16379 myself,slave 4457771149df7949b7d94cec318f4e783b5e5a18 0 1603532393000 5 connected
bb1c85f4a072be2d8645a40ecef76c358da29f3b 10.0.0.38:6379@16379 slave bfbbb2390cffddbdb6cad159658a4b8770702cd8 0 1603532400500 4 connected
bfbbb2390cffddbdb6cad159658a4b8770702cd8 10.0.0.8:6379@16379 master - 0 1603532400000 1 connected 0-5460

# 查看指定master节点的slave节点信息
redis-cli cluster slaves 
# 使用maste18的id查询其从节点48
[root@centos8 ~]#redis-cli -a 123456 cluster slaves 4457771149df7949b7d94cec318f4e783b5e5a18
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
1) "5a469424de6187f662ff825b40b3766fca893325 10.0.0.48:6379@16379 myself,slave 4457771149df7949b7d94cec318f4e783b5e5a18 0 1603532508000 5 connected"

5 验证集群状态

# 集群状态总览
[root@CentOS8 ~]#redis-cli -a 123456 --no-auth-warning CLUSTER INFO
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6    # 总结点数
cluster_size:3          # 集群数（一个主从架构就是一个集群）
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:2082
cluster_stats_messages_pong_sent:2042
cluster_stats_messages_sent:4124
cluster_stats_messages_ping_received:2037
cluster_stats_messages_pong_received:2082
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:4124

# 查看指定节点的集群状态
'使用选项 --cluster ，必须小写
[root@CentOS8 ~]#redis-cli -a 123456 --no-auth-warning --cluster info  10.0.0.58:6379
10.0.0.18:6379 (44577711...) -> 0 keys | 5462 slots | 1 slaves.
10.0.0.28:6379 (6061cf27...) -> 0 keys | 5461 slots | 1 slaves.
10.0.0.8:6379 (bfbbb239...) -> 0 keys | 5461 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.

6 查看集群node对应关系

# 总览
redis-cli -a 123456 --no-auth-warning CLUSTER NODES

# 指定任意节点进行全面检查
redis-cli -a 123456 --no-auth-warning --cluster check 10.0.0.48:6379

7 验证集群写入key

# 写入key的逻辑原理
1.客户端发送命令到任意节点
2.收到命令的节点进行定位：计算出槽位得到对应节点，判断是否指向自身
    2.1 指向自身：执行
    2.2 指向别处：回复moved。。。然后客户端重新对正确节点发送命令

7.1 redis cluster 写入key

# 指定节点8写入
[root@CentOS8 ~]#redis-cli -a 123456 --no-auth-warning -h 10.0.0.8 SET key1 values1
(error) MOVED 9189 10.0.0.18:6379
'算法根据key内容算出应放在 9189 槽位，此槽位不在当前节点，因此失败

# 指定正确节点写入
[root@CentOS8 ~]#redis-cli -a 123456 --no-auth-warning -h 10.0.0.18 SET key1 values1
OK
# 可查看值
[root@CentOS8 ~]#redis-cli -a 123456 --no-auth-warning -h 10.0.0.18 get key1 
"values1"

# 与之对应的从节点为48
从节点只能`keys *`不能`get key`
[root@centos8 ~]#redis-cli -a 123456 --no-auth-warning -h 10.0.0.48 get key1
(error) MOVED 9189 10.0.0.18:6379   '会提示正确位置'
[root@centos8 ~]#redis-cli -a 123456 --no-auth-warning -h 10.0.0.48 keys *
1) "key1"

7.2 redis cluster计算key所有slot

# 计算 xxx 对应的slot
redis-cli -h 10.0.0.8 -a 123456 --no-auth-warning cluster keyslot xxx

'注：cluster nodes可查看：3个master分别管辖 0-5461、5462-10922、10923-16383
[root@CentOS8 ~]#redis-cli -h 10.0.0.8 -a 123456 --no-auth-warning cluster keyslot hello
(integer) 866     '若set此key，应根据槽位选择正确的master节点，如866在0-5461：选择8'
[root@CentOS8 ~]#redis-cli -h 10.0.0.8 -a 123456 --no-auth-warning cluster keyslot caokunzi
(integer) 1481
[root@CentOS8 ~]#redis-cli -h 10.0.0.8 -a 123456 --no-auth-warning cluster keyslot zhubazi
(integer) 6488

# 使用选项 -c 以集群模式连接
# 集群模式使用（cluster keyslot xxx）查询指定key的槽位。。并且可直接set，自动保存在正确节点！！！
[root@CentOS8 ~]#redis-cli -c -h 10.0.0.8 -a 123456 --no-auth-warning
10.0.0.8:6379> cluster keyslot linux 
(integer) 12299
10.0.0.8:6379> set linux caokunzi
-> Redirected to slot [12299] located at 10.0.0.28:6379
OK
10.0.0.28:6379> get linux
"caokunzi"

# 由12299可知储存节点为 master-28
# 使用普通模式查看，必须要在28
[root@CentOS8 ~]#redis-cli -h 10.0.0.28 -a 123456 --no-auth-warning get linux
"caokunzi"
# 反例：
[root@CentOS8 ~]#redis-cli -h 10.0.0.18 -a 123456 --no-auth-warning get linux
(error) MOVED 12299 10.0.0.28:6379
[root@CentOS8 ~]#redis-cli -h 10.0.0.58 -a 123456 --no-auth-warning get linux
(error) MOVED 12299 10.0.0.28:6379

8 python脚本实现RedisCluster集群写入

# 环境准备（centos8）
dnf -y install python3
pip3 install redis-py-cluster

# 脚本： vim redis_cluster_test.py
#!/usr/bin/env python3
from rediscluster import RedisCluster
startup_nodes = [
    {"host":"10.0.0.8", "port":6379},
    {"host":"10.0.0.18", "port":6379},
    {"host":"10.0.0.28", "port":6379},
    {"host":"10.0.0.38", "port":6379},
    {"host":"10.0.0.48", "port":6379},
    {"host":"10.0.0.58", "port":6379}
]
redis_conn= RedisCluster(startup_nodes=startup_nodes,password='123456',decode_responses=True)
for i in range(0, 10000):
  redis_conn.set('key'+str(i),'value'+str(i))
  print('key'+str(i)+':',redis_conn.get('key'+str(i)))
  
# 权限
chmod +x redis_cluster_test.py

# 执行
./redis_cluster_test.py     # 注意： bash 命令用来执行shell脚本！这是python脚本
============================================================================
# 检查数据
[root@CentOS8 ~]#redis-cli -a 123456 -h 10.0.0.8 --no-auth-warning
10.0.0.8:6379> DBSIZE
(integer) 3331                # 什么指标？？？？
10.0.0.8:6379> get key1
(error) MOVED 9189 10.0.0.18:6379
10.0.0.8:6379> get key145
"value145"
10.0.0.8:6379> get key777
"value777"
10.0.0.8:6379> get key2828
(error) MOVED 10495 10.0.0.18:6379

[root@centos8 ~]#redis-cli -a 123456 -h 10.0.0.18 --no-auth-warning
10.0.0.18:6379> DBSIZE
(integer) 3340
10.0.0.18:6379> get key1
"value1"
10.0.0.18:6379> get key2828
"value2828"
10.0.0.18:6379> get key9999
(error) MOVED 3339 10.0.0.8:6379
10.0.0.18:6379> 
==========================================================================
# 主从一致
[root@centos8 ~]#redis-cli -a 123456 -h 10.0.0.8 --no-auth-warning dbsize
(integer) 3331
[root@centos8 ~]#redis-cli -a 123456 -h 10.0.0.18 --no-auth-warning dbsize
(integer) 3340
[root@centos8 ~]#redis-cli -a 123456 -h 10.0.0.28 --no-auth-warning dbsize
(integer) 3330
[root@centos8 ~]#redis-cli -a 123456 -h 10.0.0.38 --no-auth-warning dbsize
(integer) 3331
[root@centos8 ~]#redis-cli -a 123456 -h 10.0.0.48 --no-auth-warning dbsize
(integer) 3340
[root@centos8 ~]#redis-cli -a 123456 -h 10.0.0.58 --no-auth-warning dbsize
(integer) 3330

9 模拟master故障，对应的slave节点自动提升为新master

# 模拟node2节点（10.0.0.18）出故障,需要数秒故障转移时间
===================================================
# 首先在节点2开启日志
tail -f /var/log/redis/redis.log 

# 登录node2节点关机
[root@centos8 ~]#redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> 
127.0.0.1:6379> 
127.0.0.1:6379> shutdown
not connected> exit
[root@centos8 ~]#ss -ntl
State        Recv-Q        Send-Q                Local Address:Port               Peer Address:Port   
LISTEN       0             128                         0.0.0.0:22                      0.0.0.0:*    
LISTEN       0             100                       127.0.0.1:25                      0.0.0.0:*  
LISTEN       0             128                         0.0.0.0:111                     0.0.0.0:* 
LISTEN       0             128                            [::]:22                         [::]:* 
LISTEN       0             100                           [::1]:25                         [::]:* 
LISTEN       0             128                            [::]:111                        [::]:*  

# 查看集群的主从关系
[root@CentOS8 ~]#redis-cli -a 123456 --cluster info 10.0.0.8:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
Could not connect to Redis at 10.0.0.18:6379: Connection refused
10.0.0.8:6379 (bfbbb239...) -> 3331 keys | 5461 slots | 1 slaves.
10.0.0.48:6379 (5a469424...) -> 3340 keys | 5462 slots | 0 slaves.  # 48成为新主
10.0.0.28:6379 (6061cf27...) -> 3330 keys | 5461 slots | 1 slaves.
[OK] 10001 keys in 3 masters.
0.61 keys per slot on average.

# 主从详细信息
[root@CentOS8 ~]#redis-cli -a 123456 --cluster check 10.0.0.8:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
Could not connect to Redis at 10.0.0.18:6379: Connection refused
10.0.0.8:6379 (bfbbb239...) -> 3331 keys | 5461 slots | 1 slaves.
10.0.0.48:6379 (5a469424...) -> 3340 keys | 5462 slots | 0 slaves.
10.0.0.28:6379 (6061cf27...) -> 3330 keys | 5461 slots | 1 slaves.
[OK] 10001 keys in 3 masters.
0.61 keys per slot on average.
>>> Performing Cluster Check (using node 10.0.0.8:6379)
M: bfbbb2390cffddbdb6cad159658a4b8770702cd8 10.0.0.8:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: bb1c85f4a072be2d8645a40ecef76c358da29f3b 10.0.0.38:6379
   slots: (0 slots) slave
   replicates bfbbb2390cffddbdb6cad159658a4b8770702cd8
M: 5a469424de6187f662ff825b40b3766fca893325 10.0.0.48:6379
   slots:[5461-10922] (5462 slots) master
M: 6061cf2702a7c07bb64debbdc9bc7897a672d152 10.0.0.28:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: 7a19f3c4082136d3d7c11f6a5c7665e461b2b565 10.0.0.58:6379
   slots: (0 slots) slave
   replicates 6061cf2702a7c07bb64debbdc9bc7897a672d152
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

# 指定查看 48 的主从关系
[root@CentOS8 ~]#redis-cli -a 123456 -h 10.0.0.48 info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:0
master_replid:230a53c5beda83e2de9550acdc67cddee48c3842
master_replid2:d12f0146815127bb80a434cd4a48269cc166dbf1
master_repl_offset:144009
second_repl_offset:144010
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:144009
==================================
# 恢复故障节点node2
systemctl start redis

# 查看日志
18247:S 24 Oct 2020 18:47:18.743 # Cluster state changed: ok
18247:S 24 Oct 2020 18:47:19.761 * Connecting to MASTER 10.0.0.48:6379
18247:S 24 Oct 2020 18:47:19.762 * MASTER <-> REPLICA sync started
18247:S 24 Oct 2020 18:47:19.762 * Non blocking connect for SYNC fired the event.
18247:S 24 Oct 2020 18:47:19.762 * Master replied to PING, replication can continue...
18247:S 24 Oct 2020 18:47:19.763 * Trying a partial resynchronization (request 06e7c1999b779c409e9fce434f5d4a212041a070:1).
18247:S 24 Oct 2020 18:47:19.763 * Full resync from master: 230a53c5beda83e2de9550acdc67cddee48c3842:144009
18247:S 24 Oct 2020 18:47:19.763 * Discarding previously cached master state.
18247:S 24 Oct 2020 18:47:19.857 * MASTER <-> REPLICA sync: receiving 62898 bytes from master
18247:S 24 Oct 2020 18:47:19.857 * MASTER <-> REPLICA sync: Flushing old data
18247:S 24 Oct 2020 18:47:19.858 * MASTER <-> REPLICA sync: Loading DB in memory
18247:S 24 Oct 2020 18:47:19.860 * MASTER <-> REPLICA sync: Finished with success

# 指定查看 48 的主从关系
[root@CentOS8 ~]#redis-cli -a 123456 -h 10.0.0.48 info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:1
slave0:ip=10.0.0.18,port=6379,state=online,offset=144093,lag=1  # 18已经成为48的从
master_replid:230a53c5beda83e2de9550acdc67cddee48c3842
master_replid2:d12f0146815127bb80a434cd4a48269cc166dbf1
master_repl_offset:144093
second_repl_offset:144010
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:144093

你可能感兴趣的:(2020-10-25 Redis)

  • Redis系列：Geo 类型赋能亿级地图位置计算 Ly768768 redisbootstrap数据库
    1前言我们在篇深刻理解高性能Redis的本质的时候就介绍过Redis的几种基本数据结构，它是基于不同业务场景而设计的：动态字符串(REDIS_STRING)：整数(REDIS_ENCODING_INT)、字符串(REDIS_ENCODING_RAW)双端列表(REDIS_ENCODING_LINKEDLIST)压缩列表(REDIS_ENCODING_ZIPLIST)跳跃表(REDIS_ENCODI
  • 华为云分布式缓存服务DCS 8月新特性发布 华为云PaaS服务小智 华为云分布式缓存
    分布式缓存服务（DistributedCacheService，简称DCS）是华为云提供的一款兼容Redis的高速内存数据处理引擎，为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及数据快速访问的业务诉求。此次为大家带来DCS8月的特性更新内容，一起来看看吧！
  • Redis Key的过期策略 ArchManual 分布式架构分布式Java后端微服务架构redis
    Redis的过期策略主要是指管理和删除那些设定了过期时间的键，以确保内存的有效使用和数据的及时清理。具体来说，Redis有三种主要的过期策略：定期删除（ScheduledDeletion）、惰性删除（LazyDeletion）和内存淘汰策略（EvictionPolicies）。1.定期删除Redis的定期删除策略（ScheduledDeletion）的步骤如下：设置定期任务：Redis会在后台线程
  • Redis:缓存击穿 我的程序快快跑啊 缓存redisjava
    缓存击穿(热点key)：部分key(被高并发访问且缓存重建业务复杂的)失效,无数请求会直接到数据库，造成巨大压力1.互斥锁：可以保证强一致性线程一：未命中之后，获取互斥锁，再查询数据库重建缓存，写入缓存，释放锁线程二：查询未命中，未获得锁(已由线程一获得)，等待一会，缓存命中互斥锁实现方式：redis中setnxkeyvalue:改变对应key的value,仅当value不存在时执行，以此来实现互
  • Redis 有哪些危险命令？如何防范？ 花小疯 redis缓存数据库危险命令大数据
    Redis有哪些危险命令？Redis的危险命令主要有以下几个：1.keys客户端可查询出所有存在的键。2.flushdb删除Redis中当前所在数据库中的所有记录，并且此命令从不会执行失败。3.flushall删除Redis中所有数据库中的所有记录，不止是当前所在数据库，并且此命令从不会执行失败。4.config客户端可修改Redis配置。怎么禁用和重命名危险命令？看下redis.conf默认配置
  • Rides实现分布式锁，保障数据一致性,Redisson分布式事务处理 朱杰jjj 缓存分布式
    分布式环境下分布式锁有三种方式：基于数据库分布式锁基于Redis分布式锁基于zk分布式锁本帖只介绍Redis分布式锁为什么需要用到分布式锁？在单机环境下一个服务中多个线程对同一个事物或数据资源进行操作时，可以通过添加加锁方式（synchronized和lock）来解决数据一致性的问题。但是如果出现多个服务的情况下，这时候我们在通过synchronized和lock的方式来加锁会出现问题，因为多个服
  • Cloud Native Weekly | 华为云抢先发布Redis5.0，红帽宣布收购混合云提供商 weixin_34302561 数据库devops大数据
    1——华为云抢先发布Redis5.02——DigitalOceanK8s服务正式上线3——红帽宣布收购混合云提供商NooBaa4——微软发布多项AzureKubernetes服务更新1华为云抢先发布Redis5.012月17日，华为云在DCS2.0的基础上，快人一步，抢先推出了新的Redis5.0产品，这是一个崭新的突破。目前国内在缓存领域的发展普遍停留在Redis4.0阶段，华为云率先发布了Re
  • 华为云分布式缓存服务DCS与开源服务差异对比 hcinfo_18 redis使用华为云Redis5.0分布式缓存服务Redis客户端
    分布式缓存服务DCS提供单机、主备、集群等丰富的实例类型，满足用户高读写性能及快速数据访问的业务诉求。支持丰富的实例管理操作，帮助用户省去运维烦恼。用户可以聚焦于业务逻辑本身，而无需过多考虑部署、监控、扩容、安全、故障恢复等方面的问题。DCS基于开源Redis、Memcached向用户提供一定程度定制化的缓存服务，因此，除了拥有开源服务缓存数据库的优秀特性，DCS提供更多实用功能。一、与开源Red
  • 关于Redis集群同步/持久化/淘汰机制的详解 尾巴尖上的阳光 大数据redis数据库
    Redis是非常常用的KV数据库,使用内存以及HashMap进行存储的特点带来了高效的查询.本文将围绕Redis的常见开发使用场景,阐述在Redis集群中各个节点是如何进行数据同步,每个节点如何进行持久化以及在长期使用中如何对数据进行更新和淘汰.如果对Redis有更多的兴趣,可以查看我的技术博客:https://dingyuqi.com下面是Redis在开发过程中常用的几种使用场景.集群Redis
  • 主流行架构 rainbowcheng 架构架构
    nexus，gitlab,svn,jenkins,sonar,docker，apollo，catteambition，axure，蓝湖，禅道,WCP；redis，kafka，es，zookeeper，dubbo，shardingjdbc，mysql，InfluxDB，Telegraf，Grafana，Nginx，xxl-job，Neo4j,NebulaGraph是一个高性能的,NOSQL图形数据库
  • 网上商城项目总结 续 猫只i javaweb电子商城结构
    前台1.用户登录注册邮箱验证校验用户名是否存在验证码自动登录2.导航条自定义标签库采用异步读取数据（使用gson将集合转换json数据）Redis服务器3.首页热门商品查询展示4.分类列表分页查询5.商品详情用cookie实现浏览记录6.购物车实现商品添加到购物车商品的查询，添加，修改，删除清空购物车7.提交订单添加订单（订单详情）确认订单（易宝支付）8.我的订单9.Fliter定义权限拦截（提交
  • 常用类库 Guava 简介 豆瑞瑞 java
    简介GoogleGuava是一个由Google开发的Java开源函数库。前身是GoogleCollectionsLibrary，提供了许多简化工具，如缓存、连接器、过滤器、关联数组等仓库代码GitCode-全球开发者的开源社区,开源代码托管平台参考https://github.com/google/guavahttps://github.com/google/guava/wikiRedisStre
  • 2024Mysql And Redis基础与进阶操作系列（8）作者——LJS[含MySQL 创建、修改、跟新、重命名、删除视图等具体详步骤；注意点及常见报错问题所对应的解决方法] 肾透侧视攻城狮 MYSQLREDISAdvanceoperationredismysql数据库linuxsqlbashadb
    目录1MySQL视图1.概念2.作用3.特点4.具体如何操作实现MYSQL视图4.1创建视图语法示例查看表和视图查看视图的结构查看视图属性信息（比如：显示数据表的存储引擎、版本、数据行数和数据大小等）查看视图的详细定义信息4.2修改视图简介格式举例4.3更新视图简介下述结构中不可更新的视图补充说明举例更新视图视图包含聚合函数不可更新视图包含distinct不可更新视图包含goupby、having
  • 自定义布隆过滤器解决缓存穿透 暗金烂狗 缓存
    什么是缓存穿透以及常见解决方案缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会生效，这些请求都会打到数据库，导致数据库压力提高，造成宕机。缓存穿透就是指用户访问那些在数据库和Redis中都不存在的数据，例如我们知道id采用自增策略，那么就不可能出现负数id，而如果不法分子使用负数id进行查询，那么这些请求都会穿过Redis直接向数据库发送请求，从而导致数据库压力骤增，导致数
  • Redis 为什么这么快？ 小海海不怕困难 Redisredis
    决定Redis请求效率的因素主要是三个方面，分别是网络、cpu、内存。在网络层面，Redis采用多路复用的设计，提升了并发处理的连接数，不过这个阶段，Server端的所有IO操作，都是由同一个主线程处理的这个时候IO的瓶颈就会影响到Redis端的整体处理性能。所以从Redis6.0开始，在多路复用及层面增加了多线程的处理，来优化IO处理的能力不过，具体的数据操作仍然是由主线程来处理的，所以我们可以
  • Redis 集群 確定饿的猫 redislinux
    目录Redis主从复制Redis主从复制简介Redis主从复制的作用Redis主从复制流程搭建Redis主从复制master节点slave节点验证哨兵故障转移机制部署哨兵Redis集群作用数据分区高可用Redis集群Redis高可用实现的方式有持久化、主从复制、哨兵、集群，与持久化不同，另外三种方式都是属于集群，之前已经分析了解过两种持久化模式了，现在了解另外几种方式Redis主从复制Redis主
  • Redisson分布式锁实现原理和使用 牧竹子 springboot#redisRedissonredis
    常见的锁内存锁lock,synchronize分布式锁redis，zookeeper实现Redisson基于redis实现了Lock接口的分布式集群锁，是可重入锁，功能强大，源码复杂，比redis单机模式分布式锁可靠，稳定性更高，支持集群模式，支持锁根据业务时长自动延迟释放redis普通分布式锁存在一定的缺陷——它加锁只作用在一个Redis节点上，如果通过sentinel和cluster保证高可用
  • 分布式框架Celery七(Django-Celery-Flower实现异步和定时爬虫及其监控邮件告警) yjjpp2301 Celery分布式djangopython后端
    Django中集成方式安装模块pipinstallDjango==3.2.22pipinstallcelerypipinstallredispipinstalleventlet#在windows环境下需要安装eventlet包-----------pipinstalldjango-celery-beatpipinstalldjango-celery-resultspipinstalldjango-
  • Redis的持久化和高可用性 小辛学西嘎嘎 redis数据库缓存
    目录一、淘汰策略1、背景2、淘汰策略二、持久化1、背景2、fork进程写时复制机制3、Redis持久化方式1、aof2、rdb三、高可用1、主从复制2、Redis哨兵模式3、Rediscluster集群一、淘汰策略1、背景首先Redis是一个内存数据库，将所有数据存放在内存中，通过对K值进行hash后存储在散列表中。有一个小问题Redis数据库占96G，但为什么最终占满只有48G呢。因为中间有个过
  • 【Redis】Redis缓存 1886i JavaRedis缓存redis数据库
    目录一、缓存1、概念2、作用3、缺点二、缓存模型三、缓存的更新1、更新策略2、主动更新的三种模式1.cacheasidepattern2.read/writethroughpattern3.writebehindcachingpattern3、线程安全问题1.缓存删除还是更新缓存2.先删除缓存后操作数据库3.先操作数据库后删除缓存4.如何保证缓存与数据库操作同时成功或失败4、最佳选择一、缓存1、概
  • Windows系统下安装Redis bjzhang75 windowsredis数据库
    文章目录1、下载Redis安装包2、解压压缩包3、运行Redis4、Redis连接检测5、Redis相关设置5.1设置环境变量PATH5.2Redis配置文件修改1、下载Redis安装包Windows版本的Redis可以在Github中下载：下载Redis2、解压压缩包将下载的压缩包解压到某个目录下，比如：C:\redis。3、运行Redis在cmd窗口中运行命令redis-serverredis
  • 实现多级缓存的六种策略方法 Kixuan214 缓存redisrabbitmq
    保证多级缓存数据一致性是一个复杂的任务，尤其是在分布式和高并发环境中。以下是一些常见的方法和策略，可以帮助实现多级缓存的数据一致性1.缓存失效策略1.1主动失效在更新数据库时，主动使相关缓存失效。步骤：更新数据库删除或失效缓存publicclassCacheService{privateLocalCachelocalCache;privateRedisCacheredisCache;private
  • redis-shake v4全量增量同步redis数据 nangonghen redisredis数据库缓存redis-shake
    1概述RedisShake是一个用于处理和迁移Redis数据的工具，github地址是https://github.com/tair-opensource/RedisShake。它提供以下特性：1）Redis兼容性：RedisShake兼容从2.8到7.2的Redis版本，并支持各种部署方式，包括单机，主从，哨兵和集群。2）云服务兼容性：RedisShake与主流云服务提供商提供的流行Redis-
  • redis,codis,云redis shuff1e
    redis的分布式解决方式--codis（转）https://www.cnblogs.com/softidea/p/5365640.htmlhttps://help.aliyun.com/document_detail/57797.html?spm=5176.173352.925244.2.bF70Gb
  • Redis总结（八）redis单线程还是多线程问题 卢小记
    redis为什么可以支持高并发和它内部的工作模式有不可分割的关系：绝大部分请求是纯粹的内存操作（非常快速）采用单线程,避免了不必要的上下文切换和竞争条件非阻塞IO-IO多路复用Redis客户端对服务端的每次调用都经历了发送命令，执行命令，返回结果三个过程。其中执行命令阶段，由于Redis是单线程来处理命令的，所有到达服务端的命令都不会立刻执行，所有的命令都会进入一个队列中，然后逐个执行，并且多个客
  • Java 使用 Redis lly202406 开发语言
    Java使用Redis1.引言Redis是一个开源的高性能键值对数据库。它支持多种类型的数据结构，如字符串、列表、集合、散列表等，适用于多种场景，如缓存、消息队列等。Java是一种广泛使用的编程语言，它在企业级应用中有着广泛的应用。在Java应用中，使用Redis可以提高数据访问速度，减轻数据库的压力。本文将介绍如何在Java应用中使用Redis。2.准备工作在开始使用Redis之前，需要确保已经
  • Redis数据结构—跳跃表 skiplist 马卫斌 前端工程师 skiplist
    跳跃表（Skiplist）是Redis中用于实现有序集合（SortedSet）的一种高效数据结构。以下是关于Redis中跳跃表（Skiplist）的关键特性和工作原理的概览：基本概念层级结构：跳跃表通过多层次的链表组成，每一层都是下一层的稀疏视图，顶层最快地遍历整个链表，而底层则是完全连通所有节点的传统链表结构。这样的设计使得查询操作能够快速跳过大量不需要检查的元素。有序集合：每个节点（或称为元素
  • Redis安装详解（单机安装，sentinel哨兵模式，Cluster模式） dream21st 中间件学习笔记sentinelredisjava
    文章目录1Redis单机安装1.1windows中安装1.2linux中安装2Redis主从复制安装3Redis哨兵模式安装4Springboot项目操作RedisSentinel集群5官方cluster分区搭建5.1部署架构5.2RedisCluster的优势5.3集群搭建6Springboot项目操作Cluster集群1Redis单机安装Redis安装包可以从官网下载，也可以在redis的官方
  • Redis哨兵模式(Sentinel)详解 水木渔樵 Redisredis
    目录文章目录一、Sentinel1.何为Sentinel2.Sentinel启动流程当一个Sentinel启动时，它需要执行以下步骤：2.1初始化服务器2.2使用Sentinel专用代码2.3初始化Sentinel状态2.4初始化Sentinel状态的masters属性2.5创建连向主服务器的网络连接3.Sentinel获取主服务器信息4.Sentinel获取从服务器信息5.Sentinel与主从
  • Redis Sentinel（哨兵）详解 dlwlrma ⥳ Java八股框架redissentinel数据库
    目录一：什么是Sentinel（哨兵）二：Sentinel有什么用1.监控2.故障转移3通知4.配置提供三：Sentinel如何检测master节点宕机1.主观下线2.客观下线四：Sentinel是如何选举出新的master1.slave的优先级2.复制进度3.runid五：如何在sentinel集群中选择出Leader前言：有关Redis的基础知识可以参照我之前写的文章Redis必知必会的知识在
  • 强大的销售团队背后 竟然是大数据分析的身影 蓝儿唯美 数据分析
    Mark Roberge是HubSpot的首席财务官，在招聘销售职位时使用了大量数据分析。但是科技并没有挤走直觉。 大家都知道数理学家实际上已经渗透到了各行各业。这些热衷数据的人们通过处理数据理解商业流程的各个方面，以重组弱点，增强优势。 Mark Roberge是美国HubSpot公司的首席财务官，HubSpot公司在构架集客营销现象方面出过一份力——因此他也是一位数理学家。他使用数据分析
  • Haproxy+Keepalived高可用双机单活 bylijinnan 负载均衡keepalivedhaproxy高可用
    我们的应用MyApp不支持集群，但要求双机单活（两台机器：master和slave）： 1.正常情况下，只有master启动MyApp并提供服务 2.当master发生故障时，slave自动启动本机的MyApp，同时虚拟IP漂移至slave，保持对外提供服务的IP和端口不变 F5据说也能满足上面的需求，但F5的通常用法都是双机双活，单活的话还没研究过 服务器资源 10.7
  • eclipse编辑器中文乱码问题解决 0624chenhong eclipse乱码
    使用Eclipse编辑文件经常出现中文乱码或者文件中有中文不能保存的问题，Eclipse提供了灵活的设置文件编码格式的选项，我们可以通过设置编码 格式解决乱码问题。在Eclipse可以从几个层面设置编码格式：Workspace、Project、Content Type、File 本文以Eclipse 3.3（英文）为例加以说明： 1. 设置Workspace的编码格式： Windows-&g
  • 基础篇--resources资源 不懂事的小屁孩 android
    最近一直在做java开发，偶尔敲点android代码，突然发现有些基础给忘记了，今天用半天时间温顾一下resources的资源。 String.xml    字符串资源   涉及国际化问题  http://www.2cto.com/kf/201302/190394.html   string-array
  • 接上篇补上window平台自动上传证书文件的批处理问卷 酷的飞上天空 window
    @echo off : host=服务器证书域名或ip，需要和部署时服务器的域名或ip一致 ou=公司名称, o=公司名称 set host=localhost set ou=localhost set o=localhost set password=123456 set validity=3650 set salias=s
  • 企业物联网大潮涌动：如何做好准备？ 蓝儿唯美 企业
    物联网的可能性也许是无限的。要找出架构师可以做好准备的领域然后利用日益连接的世界。 尽管物联网（IoT）还很新，企业架构师现在也应该为一个连接更加紧密的未来做好计划，而不是跟上闸门被打开后的集成挑战。“问题不在于物联网正在进入哪些领域，而是哪些地方物联网没有在企业推进，” Gartner研究总监Mike Walker说。 Gartner预测到2020年物联网设备安装量将达260亿，这些设备在全
  • spring学习——数据库（mybatis持久化框架配置） a-john mybatis
    Spring提供了一组数据访问框架，集成了多种数据访问技术。无论是JDBC，iBATIS(mybatis)还是Hibernate，Spring都能够帮助消除持久化代码中单调枯燥的数据访问逻辑。可以依赖Spring来处理底层的数据访问。 mybatis是一种Spring持久化框架，要使用mybatis，就要做好相应的配置： 1，配置数据源。有很多数据源可以选择，如：DBCP，JDBC，aliba
  • Java静态代理、动态代理实例 aijuans Java静态代理
    采用Java代理模式，代理类通过调用委托类对象的方法，来提供特定的服务。委托类需要实现一个业务接口，代理类返回委托类的实例接口对象。 按照代理类的创建时期，可以分为：静态代理和动态代理。 所谓静态代理：　指程序员创建好代理类，编译时直接生成代理类的字节码文件。 所谓动态代理：　在程序运行时，通过反射机制动态生成代理类。   一、静态代理类实例： 1、Serivce.ja
  • Struts1与Struts2的12点区别 asia007 Struts1与Struts2
    1) 在Action实现类方面的对比：Struts 1要求Action类继承一个抽象基类；Struts 1的一个具体问题是使用抽象类编程而不是接口。Struts 2 Action类可以实现一个Action接口，也可以实现其他接口，使可选和定制的服务成为可能。Struts 2提供一个ActionSupport基类去实现常用的接口。即使Action接口不是必须实现的，只有一个包含execute方法的P
  • 初学者要多看看帮助文档 不要用js来写Jquery的代码 百合不是茶 jqueryjs
    解析json数据的时候需要将解析的数据写到文本框中,  出现了用js来写Jquery代码的问题;   1, JQuery的赋值  有问题    代码如下: data.username 表示的是:  网易            $("#use
  • 经理怎么和员工搞好关系和信任 bijian1013 团队项目管理管理
            产品经理应该有坚实的专业基础，这里的基础包括产品方向和产品策略的把握，包括设计，也包括对技术的理解和见识，对运营和市场的敏感，以及良好的沟通和协作能力。换言之，既然是产品经理，整个产品的方方面面都应该能摸得出门道。这也不懂那也不懂，如何让人信服？如何让自己懂？就是不断学习，不仅仅从书本中，更从平时和各种角色的沟通
  • 如何为rich:tree不同类型节点设置右键菜单 sunjing contextMenutreeRichfaces
    组合使用target和targetSelector就可以啦，如下： <rich:tree id="ruleTree" value="#{treeAction.ruleTree}" var="node" nodeType="#{node.type}" selectionChangeListener=&qu
  • 【Redis二】Redis2.8.17搭建主从复制环境 bit1129 redis
    开始使用Redis2.8.17 Redis第一篇在Redis2.4.5上搭建主从复制环境，对它的主从复制的工作机制，真正的惊呆了。不知道Redis2.8.17的主从复制机制是怎样的，Redis到了2.4.5这个版本，主从复制还做成那样，Impossible is nothing! 本篇把主从复制环境再搭一遍看看效果，这次在Unbuntu上用官方支持的版本。   Ubuntu上安装Red
  • JSONObject转换JSON--将Date转换为指定格式 白糖_ JSONObject
    项目中，经常会用JSONObject插件将JavaBean或List<JavaBean>转换为JSON格式的字符串，而JavaBean的属性有时候会有java.util.Date这个类型的时间对象，这时JSONObject默认会将Date属性转换成这样的格式：   {"nanos":0,"time":-27076233600000,
  • JavaScript语言精粹读书笔记 braveCS JavaScript
    【经典用法】：   //①定义新方法 Function .prototype.method=function(name, func){ this.prototype[name]=func; return this; } //②给Object增加一个create方法，这个方法创建一个使用原对
  • 编程之美-找符合条件的整数 用字符串来表示大整数避免溢出 bylijinnan 编程之美
    import java.util.LinkedList; public class FindInteger { /** * 编程之美 找符合条件的整数 用字符串来表示大整数避免溢出 * 题目：任意给定一个正整数N，求一个最小的正整数M(M>1)，使得N*M的十进制表示形式里只含有1和0 * * 假设当前正在搜索由0，1组成的K位十进制数
  • 读书笔记 chengxuyuancsdn 读书笔记
    1、Struts访问资源 2、把静态参数传递给一个动作 3、<result>type属性 4、s:iterator、s:if c:forEach 5、StringBuilder和StringBuffer 6、spring配置拦截器 1、访问资源 (1)通过ServletActionContext对象和实现ServletContextAware,ServletReque
  • [通讯与电力]光网城市建设的一些问题 comsci 问题
          信号防护的问题,前面已经说过了,这里要说光网交换机与市电保障的关系       我们过去用的ADSL线路,因为是电话线,在小区和街道电力中断的情况下,只要在家里用笔记本电脑+蓄电池,连接ADSL,同样可以上网........     
  • oracle 空间RESUMABLE daizj oracle空间不足RESUMABLE错误挂起
    空间RESUMABLE操作  转 Oracle从9i开始引入这个功能，当出现空间不足等相关的错误时，Oracle可以不是马上返回错误信息，并回滚当前的操作，而是将操作挂起，直到挂起时间超过RESUMABLE TIMEOUT，或者空间不足的错误被解决。 这一篇简单介绍空间RESUMABLE的例子。 第一次碰到这个特性是在一次安装9i数据库的过程中，在利用D
  • 重构第一次写的线程池 dieslrae 线程池 python
    最近没有什么学习欲望,修改之前的线程池的计划一直搁置,这几天比较闲,还是做了一次重构,由之前的2个类拆分为现在的4个类. 1、首先是工作线程类:TaskThread,此类为一个工作线程,用于完成一个工作任务,提供等待(wait),继续(proceed),绑定任务(bindTask)等方法 #!/usr/bin/env python # -*- coding:utf8 -*-
  • C语言学习六指针 dcj3sjt126com c
    初识指针，简单示例程序： /* 指针就是地址，地址就是指针 地址就是内存单元的编号 指针变量是存放地址的变量 指针和指针变量是两个不同的概念 但是要注意： 通常我们叙述时会把指针变量简称为指针，实际它们含义并不一样 */ # include <stdio.h> int main(void) { int * p; // p是变量的名字， int *
  • yii2 beforeSave afterSave beforeDelete dcj3sjt126com delete
    public function afterSave($insert, $changedAttributes) { parent::afterSave($insert, $changedAttributes); if($insert) { //这里是新增数据 } else { //这里是更新数据 } }  
  • timertask shuizhaosi888 timertask
    java.util.Timer timer = new java.util.Timer(true); // true 说明这个timer以daemon方式运行（优先级低， // 程序结束timer也自动结束），注意，javax.swing // 包中也有一个Timer类，如果import中用到swing包， // 要注意名字的冲突。 TimerTask task = new
  • Spring Security（13）——session管理 234390216 sessionSpring Security攻击保护超时
    session管理 目录   1.1     检测session超时 1.2     concurrency-control 1.3     session 固定攻击保护         
  • 公司项目NODEJS实践0.3[ mongo / session ...] 逐行分析JS源代码 mongodbsessionnodejs
        http://www.upopen.cn   一、前言         书接上回，我们搭建了WEB服务端路由、模板等功能，完成了register 通过ajax与后端的通信，今天主要完成数据与mongodb的存取，实现注册 / 登录 /
  • pojo.vo.po.domain区别 LiaoJuncai javaVOPOJOjavabeandomain
    　　POJO = "Plain Old Java Object"，是MartinFowler等发明的一个术语，用来表示普通的Java对象，不是JavaBean, EntityBean 或者 SessionBean。POJO不但当任何特殊的角色，也不实现任何特殊的Java框架的接口如，EJB， JDBC等等。 　　 　　即POJO是一个简单的普通的Java对象，它包含业务逻辑
  • Windows Error Code OhMyCC windows
    0 操作成功完成. 1 功能错误. 2 系统找不到指定的文件. 3 系统找不到指定的路径. 4 系统无法打开文件. 5 拒绝访问. 6 句柄无效. 7 存储控制块被损坏. 8 存储空间不足, 无法处理此命令. 9 存储控制块地址无效. 10 环境错误. 11 试图加载格式错误的程序. 12 访问码无效. 13 数据无效. 14 存储器不足, 无法完成此操作. 15 系
  • 在storm集群环境下发布Topology roadrunners 集群stormtopologyspoutbolt
    storm的topology设计和开发就略过了。本章主要来说说如何在storm的集群环境中，通过storm的管理命令来发布和管理集群中的topology。   1、打包 打包插件是使用maven提供的maven-shade-plugin，详细见maven-shade-plugin。 <plugin> <groupId>org.apache.maven.
  • 为什么不允许代码里出现“魔数” tomcat_oracle java
    　　在一个新项目中，我最先做的事情之一，就是建立使用诸如Checkstyle和Findbugs之类工具的准则。目的是制定一些代码规范，以及避免通过静态代码分析就能够检测到的bug。 　　迟早会有人给出案例说这样太离谱了。其中的一个案例是Checkstyle的魔数检查。它会对任何没有定义常量就使用的数字字面量给出警告，除了-1、0、1和2。 　　很多开发者在这个检查方面都有问题，这可以从结果
  • zoj 3511 Cake Robbery(线段树) 阿尔萨斯 线段树
    题目链接：zoj 3511 Cake Robbery 题目大意：就是有一个N边形的蛋糕，切M刀，从中挑选一块边数最多的，保证没有两条边重叠。 解题思路：有多少个顶点即为有多少条边，所以直接按照切刀切掉点的个数排序，然后用线段树维护剩下的还有哪些点。 #include <cstdio> #include <cstring> #include <vector&
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他